OpenGVLab新作：Vision Model Pre-training on Interleaved Image-Text Data via Latent Compression Learning

Github: ??https://github.com/OpenGVLab/LCL??

Paper: https://arxiv.org/abs/2406.07543

視覺backbone的數據瓶頸

CLIP是第一個連接圖像和文本的基礎模型，但在大模型時代，僅憑對比學習的監督，已經不足夠讓下游視覺-語言模型（VLM）取得足夠好的性能，尤其是在OCR等細粒度、高分辨率視覺任務上。而且這類方法通常要求圖像和文本數據嚴格配對，這在實際應用中可能不現實（難以獲得大量高質量內容嚴格匹配的圖文對，而且圖文對表達的信息通常難以足夠細粒度），已經成為了視覺多模態大模型Scaling Law的數據瓶頸。

交織圖像-文本數據是一種更具靈活性和實用性的資源。此類數據通常從社交媒體、新聞網站等獲取，圖像和文本之間的關系更為復雜，不總是嚴格配對。這對預訓練提出了新的挑戰，但也提供了新的機會。

Latent Compression Learning (LCL)

本文提出了一種新的預訓練方法，旨在解決交織圖像-文本數據預訓練中的挑戰。該方法名為隱壓縮學習（Latent Compression Learning, LCL）。與傳統的對比學習不同，LCL方法通過最大化因果注意力模型的輸入和輸出之間的互信息，實現了更加高效的視覺表示學習。

LCL方法的核心思想是通過對比學習和生成任務的結合，充分利用圖像和文本之間的潛在聯系。具體來說，該方法包括兩個主要任務：

• 對比學習任務：通過對比視覺表征和前文上下文，提升視覺模型的理解能力。
• 生成任務：利用視覺表示生成后續文本，增強模型的生成能力。

這種方法不僅適用于嚴格配對的圖像-文本數據，也能有效處理交織數據，使得視覺模型的預訓練更加靈活和高效。

利用兩個互補損失來從頭開始學習交錯圖像文本數據上的魯棒視覺表示：對比損失確保了視覺潛在表示與其先前上下文之間的一致性，而自回歸損失增強了后續文本視覺表示的可預測性

實驗結果表明，LCL方法在不同類型的數據集上表現優異。特別是在配對預訓練數據集（如LAION）和交織預訓練數據（如MMC4）上，LCL均表現出了強大的學習能力。與CLIP相比，LCL在交織數據上的表現尤為突出，顯示出其在處理復雜數據關系方面的優勢。

這個工作首次探索了使用交錯圖像文本數據，進行視覺模型預訓練。這篇文章從理論上證明了latent compression等價于最大化因果模型的輸入和輸出之間的相互信息，并將該目標進一步分解為兩個基本的訓練任務（對比學習+生成任務），最終得到了更魯棒的視覺表征。在用作多模態大模型的視覺backbone時，這種方法能更加充分利用互聯網數據，更能scaling數據集規模，可能有更多應用前景。

本文轉載自公眾號思源數據科學 作者：思源Source

原文鏈接：??https://mp.weixin.qq.com/s/yaPUtZMKjFyQ7zO39q1jFQ???