近年來，人工智能領(lǐng)域在多模態(tài)表示學習方面取得了顯著進展，這類模型通過統(tǒng)一框架理解并整合不同數(shù)據(jù)類型間的語義信息，特別是圖像與文本之間的關(guān)聯(lián)性。在此領(lǐng)域具有里程碑意義的模型包括OpenAI提出的CLIP（Contrastive Language-Image Pre-training，對比語言-圖像預訓練）和Google研發(fā)的SigLIP（Sigmoid Loss for Language-Image Pre-training，用于語言-圖像預訓練的Sigmoid損失）。這些模型重新定義了計算機視覺與自然語言處理的交互范式，實現(xiàn)了從圖像分類到零樣本學習等多種高級應用能力。本文將從技術(shù)層面分析CLIP和SigLIP的架構(gòu)設計、訓練方法及其主要差異，并探討它們在多模態(tài)大型語言模型中的應用價值。

CLIP：對比語言-圖像預訓練（2021）

CLIP由OpenAI于2021年發(fā)布，是一個開創(chuàng)性的多模態(tài)模型，其核心創(chuàng)新在于學習在統(tǒng)一嵌入空間中對齊圖像和文本表示。與傳統(tǒng)依賴特定任務標注數(shù)據(jù)集的監(jiān)督學習方法不同，CLIP采用對比學習目標，使模型能夠在無需任務特定微調(diào)的情況下泛化到廣泛的下游應用場景。

CLIP架構(gòu)

CLIP由兩個主要組件構(gòu)成：

圖像編碼器：一個視覺特征提取模型，通常采用Vision Transformer (ViT)或ResNet等卷積神經(jīng)網(wǎng)絡架構(gòu)，將圖像轉(zhuǎn)換為固定維度的向量表示。

文本編碼器：一個基于Transformer的語言模型（結(jié)構(gòu)類似于BERT或GPT），將文本描述編碼為與圖像嵌入相同維度的向量表示。

這兩個編碼器經(jīng)過精心設計，將圖像和文本映射到同一潛在語義空間，在該空間中，語義相關(guān)的配對（例如，一張狗的圖片和描述"一張狗的照片"）在向量空間中的距離較近，而不相關(guān)的配對則相距較遠。

CLIP訓練目標

CLIP在從互聯(lián)網(wǎng)收集的大規(guī)模圖像-文本對數(shù)據(jù)集（約4億對）上進行預訓練。其訓練過程采用了受InfoNCE（Noise Contrastive Estimation，噪聲對比估計）啟發(fā)的對比損失函數(shù)。對于一個包含N個圖像-文本對的批次：

• 系統(tǒng)計算所有N × N組合的圖像和文本嵌入之間的余弦相似度。
• 優(yōu)化目標是最大化N個正確（匹配）對之間的相似度，同時最小化N2 - N個不正確（非匹配）對之間的相似度。
• 這一目標通過優(yōu)化相似度分數(shù)上的對稱交叉熵損失來實現(xiàn)。

從數(shù)學角度，對于一個批次中的圖像嵌入{I?,I?,...,I__N}和文本嵌入{T?,T?,...,T__N}，圖像到文本方向的損失函數(shù)表示為：

模型同時計算圖像到文本和文本到圖像兩個方向的損失，最終的總損失是這兩者的平均值。其中，τ是控制分布軟度的溫度參數(shù)。這種對稱公式設計確保兩種模態(tài)（圖像和文本）得到聯(lián)合優(yōu)化，從而有效對齊它們的表示空間。

CLIP零樣本能力

CLIP的核心優(yōu)勢在于其卓越的零樣本學習能力。在預訓練完成后，CLIP可以通過構(gòu)建文本提示（例如，"一張[類別]的照片"）并比較輸入圖像嵌入與各可能類別的文本嵌入來執(zhí)行圖像分類等任務，而無需任何特定任務的訓練數(shù)據(jù)。

零樣本CLIP模型相較于標準ImageNet模型表現(xiàn)出更強的分布偏移魯棒性。（左圖）理想的魯棒模型（虛線）應在ImageNet分布和其他自然圖像分布上表現(xiàn)一致。零樣本CLIP模型將這種"魯棒性差距"最多縮小了75%。圖中展示的是在logit變換值上的線性擬合結(jié)果，附帶自助法估計的95%置信區(qū)間。（右圖）可視化展示了香蕉類別的分布偏移情況，該類別在7個自然分布偏移數(shù)據(jù)集中的5個中共同存在。圖中比較了性能最佳的零樣本CLIP模型ViT-L/14@336px與在ImageNet驗證集上具有相同性能水平的ResNet-101。

SigLIP：用于語言-圖像預訓練的Sigmoid損失（2023）

SigLIP由Google Research團隊開發(fā)，在CLIP建立的基礎架構(gòu)上引入了訓練目標的關(guān)鍵性創(chuàng)新。與CLIP使用基于softmax的對比損失不同，SigLIP采用了成對的sigmoid損失函數(shù)，這一改進簡化了訓練流程并提高了計算效率和模型性能，尤其是在處理超大規(guī)模數(shù)據(jù)集時表現(xiàn)更為突出。

SigLIP架構(gòu)

SigLIP保持了與CLIP相似的雙編碼器架構(gòu)設計：

• 圖像編碼器：通常采用Vision Transformer或其他先進的視覺骨干網(wǎng)絡。
• 文本編碼器：基于transformer架構(gòu)的語言模型。

這種架構(gòu)設計在很大程度上獨立于特定編碼器的選擇，為在不同應用場景中進行擴展或適應提供了靈活性。

SigLIP訓練目標

SigLIP與CLIP的核心區(qū)別在于用基于sigmoid的損失函數(shù)替代了對比損失機制。對于一個包含N個圖像-文本對的批次：

• 每一對(I?, T?)被視為一個正樣本，目標標簽為1。
• 所有其他組合(I?, T?)，其中i ≠ j，被視為負樣本，目標標簽為0。

模型計算每個可能對的余弦相似度I? ? T?，并應用sigmoid函數(shù)將這些相似度分數(shù)轉(zhuǎn)換為表示給定圖像-文本對匹配概率的值。然后，損失函數(shù)被定義為預測概率與相應目標標簽之間的二元交叉熵，其數(shù)學表達式為：

這種成對公式化方法消除了在整個批次范圍內(nèi)進行歸一化的需求，這是CLIP基于softmax的對比損失所必需的。通過這種改進，SigLIP簡化了計算過程并增強了訓練穩(wěn)定性，特別是在擴展到更大批量大小的場景中。

SigLIP的優(yōu)勢

SigLIP相較于CLIP具有以下幾個關(guān)鍵優(yōu)勢：

• 計算效率：sigmoid損失解耦了樣本對之間的損失計算，與CLIP的批次范圍歸一化相比，實現(xiàn)了更高度的并行性并減少了內(nèi)存開銷。
• 魯棒性：SigLIP在具有挑戰(zhàn)性的數(shù)據(jù)集上展現(xiàn)出更優(yōu)的性能表現(xiàn)，這可能源于其能夠更有效地處理噪聲數(shù)據(jù)或不平衡分布。
• 可擴展性：簡化的損失函數(shù)設計使模型能夠在更大規(guī)模數(shù)據(jù)集上進行有效訓練，如Google內(nèi)部擁有的數(shù)十億圖像-文本對語料庫。

CLIP和SigLIP之間的主要區(qū)別

雖然CLIP為多模態(tài)表示學習奠定了基礎框架，但SigLIP通過優(yōu)化損失函數(shù)提高了效率和可擴展性，使其尤其適合于工業(yè)級應用場景。兩者各有所長，在不同應用環(huán)境中可以根據(jù)實際需求選擇合適的模型。

多模態(tài)大型語言模型（MLLMs）

CLIP和SigLIP的出現(xiàn)對多模態(tài)大型語言模型（MLLMs）的發(fā)展產(chǎn)生了深遠影響，這類模型將視覺感知與語言理解能力整合到統(tǒng)一的計算框架中。現(xiàn)代MLLMs充分利用CLIP和SigLIP預訓練的圖像-文本對齊能力，實現(xiàn)了視覺問答（VQA）、圖像描述生成和多模態(tài)推理等復雜任務。下文將探討CLIP和SigLIP如何在LLaVA等代表性MLLMs中得到應用。

LLaVA：語言和視覺助手（2023）

LLaVA（Large Language and Vision Assistant，大型語言和視覺助手）由加州大學伯克利分校和微軟研究院合作開發(fā)，是一個基于CLIP視覺編碼器的典型MLLM實例。LLaVA將CLIP的視覺編碼器（通常是Vision Transformer）與大型語言模型（如LLaMA或Vicuna）結(jié)合，構(gòu)建了一個能夠同時處理圖像和文本輸入的統(tǒng)一系統(tǒng)。

該架構(gòu)的工作機制可概括為：

• 視覺信息處理：CLIP的預訓練圖像編碼器從輸入圖像中提取高維視覺特征表示。
• 模態(tài)轉(zhuǎn)換層：基于線性變換或多層感知機的投影層將CLIP視覺特征映射到語言模型的表示空間，確保模態(tài)間的語義兼容性。
• 多模態(tài)融合：視覺特征表示與文本標記嵌入進行連接或交錯處理，使語言模型能夠?qū)煞N輸入信息進行聯(lián)合推理。
• 任務適配：LLaVA在視覺指令遵循數(shù)據(jù)集（如各類視覺問答或圖像描述任務）上進行微調(diào)，使融合模型能夠適應特定的下游應用需求。

通過充分利用CLIP的零樣本泛化能力，LLaVA能夠以最小化的特定任務微調(diào)泛化到未見過的視覺-語言任務，這使其非常適合需要解釋圖像內(nèi)容的交互式對話系統(tǒng)。

其他具有代表性的MLLMs

CLIP和SigLIP的表示學習范式也被整合到其他多種前沿MLLMs中，顯著增強了它們的多模態(tài)處理能力：

• BLIP-2（Bootstrap Language-Image Pre-training）：由Salesforce Research團隊開發(fā)，BLIP-2采用CLIP的視覺編碼器提取圖像特征，隨后將這些特征輸入到輕量級查詢轉(zhuǎn)換器（Q-Former）中，最終由OPT或Flan-T5等大型語言模型進行處理。這種模塊化設計方法減少了計算資源需求，同時在視覺問答和圖像-文本檢索等任務上保持了強大的性能。
• Flamingo：由DeepMind研發(fā)，F(xiàn)lamingo利用CLIP的視覺編碼器處理輸入序列中的多個圖像，并將提取的視覺特征與預訓練的Chinchilla等大型語言模型集成。Flamingo架構(gòu)的特色在于引入了"Perceiver Resampler"模塊來壓縮視覺特征表示，使系統(tǒng)能夠有效處理包含文本和長視覺序列的混合輸入。
• Google基于SigLIP的模型：雖然具體實現(xiàn)細節(jié)可能存在差異，但SigLIP的計算效率和魯棒性使其自然地適用于Google的多模態(tài)模型系列，如Gemini。SigLIP的成對sigmoid損失機制使這些模型能夠在超大規(guī)模數(shù)據(jù)集上進行高效訓練，提升了圖像引導對話和視覺內(nèi)容理解等任務的性能表現(xiàn)。

CLIP和SigLIP在MLLMs中的技術(shù)優(yōu)勢

CLIP和SigLIP為MLLMs提供了以下核心技術(shù)優(yōu)勢：

• 預訓練語義對齊：CLIP和SigLIP通過大規(guī)模預訓練提供了已對齊的圖像-文本表示空間，為MLLMs提供了堅實的基礎，減少了下游任務中對大量標注數(shù)據(jù)的依賴。
• 架構(gòu)兼容性：這些模型基于編碼器的設計原理使其能夠與各種大型語言模型架構(gòu)無縫集成，為研究人員提供了靈活的實驗環(huán)境。
• 計算可擴展性：特別是SigLIP的高效損失函數(shù)設計，對于需要處理海量多模態(tài)數(shù)據(jù)的MLLMs具有顯著價值，而CLIP的零樣本能力則增強了模型的任務適應性。

挑戰(zhàn)和考慮因素

盡管具有諸多優(yōu)勢，將CLIP和SigLIP整合到MLLMs框架中仍面臨一系列技術(shù)挑戰(zhàn)。CLIP的固定維度嵌入空間可能限制模型進行細粒度視覺推理的能力，通常需要額外的投影層或特定任務微調(diào)來克服這一局限。同樣，SigLIP雖然在可擴展性方面表現(xiàn)出色，但在小規(guī)模訓練設置中可能會犧牲CLIP所具備的部分零樣本泛化能力。此外，兩種模型都不可避免地繼承了來自互聯(lián)網(wǎng)抓取訓練數(shù)據(jù)中存在的社會偏見，這些偏見可能會傳播到MLLM的輸出結(jié)果中，因此需要實施嚴謹?shù)脑u估方法和偏見緩解策略。

結(jié)論

CLIP和SigLIP代表了多模態(tài)人工智能研究的重要里程碑，使計算機系統(tǒng)能夠以前所未有的方式理解和關(guān)聯(lián)視覺與文本信息。CLIP開創(chuàng)的對比學習范式為零樣本視覺理解開辟了新途徑，而SigLIP的sigmoid損失機制則提供了計算效率和可擴展性方面的重要改進。這兩種模型共同強調(diào)了視覺-語言聯(lián)合建模的技術(shù)價值，為人工智能領(lǐng)域的未來創(chuàng)新奠定了理論和實踐基礎。對于研究人員和工程實踐者而言，這些模型為探索視覺與語言交互的深層機制提供了堅實的技術(shù)平臺，推動了多模態(tài)智能系統(tǒng)在各應用領(lǐng)域的持續(xù)進步。

CLIP和SigLIP的技術(shù)創(chuàng)新不僅拓展了多模態(tài)表示學習的理論邊界，還為不同數(shù)據(jù)模態(tài)間的語義融合提供了有效方法論。隨著這些基礎模型的持續(xù)演進，它們的應用領(lǐng)域必將進一步擴大，在醫(yī)療診斷輔助、智能教育系統(tǒng)、交互式娛樂等眾多垂直領(lǐng)域釋放新的技術(shù)潛力。多模態(tài)人工智能的發(fā)展歷程方興未艾，CLIP和SigLIP所代表的技術(shù)突破僅是人類向構(gòu)建真正理解和交互世界的智能系統(tǒng)邁出的重要一步。