近年來，人工智能領域在多模態表示學習方面取得了顯著進展，這類模型通過統一框架理解并整合不同數據類型間的語義信息，特別是圖像與文本之間的關聯性。在此領域具有里程碑意義的模型包括OpenAI提出的CLIP（Contrastive Language-Image Pre-training，對比語言-圖像預訓練）和Google研發的SigLIP（Sigmoid Loss for Language-Image Pre-training，用于語言-圖像預訓練的Sigmoid損失）。這些模型重新定義了計算機視覺與自然語言處理的交互范式，實現了從圖像分類到零樣本學習等多種高級應用能力。本文將從技術層面分析CLIP和SigLIP的架構設計、訓練方法及其主要差異，并探討它們在多模態大型語言模型中的應用價值。

CLIP：對比語言-圖像預訓練（2021）

CLIP由OpenAI于2021年發布，是一個開創性的多模態模型，其核心創新在于學習在統一嵌入空間中對齊圖像和文本表示。與傳統依賴特定任務標注數據集的監督學習方法不同，CLIP采用對比學習目標，使模型能夠在無需任務特定微調的情況下泛化到廣泛的下游應用場景。

CLIP架構

CLIP由兩個主要組件構成：

圖像編碼器：一個視覺特征提取模型，通常采用Vision Transformer (ViT)或ResNet等卷積神經網絡架構，將圖像轉換為固定維度的向量表示。

文本編碼器：一個基于Transformer的語言模型（結構類似于BERT或GPT），將文本描述編碼為與圖像嵌入相同維度的向量表示。

這兩個編碼器經過精心設計，將圖像和文本映射到同一潛在語義空間，在該空間中，語義相關的配對（例如，一張狗的圖片和描述"一張狗的照片"）在向量空間中的距離較近，而不相關的配對則相距較遠。

CLIP訓練目標

CLIP在從互聯網收集的大規模圖像-文本對數據集（約4億對）上進行預訓練。其訓練過程采用了受InfoNCE（Noise Contrastive Estimation，噪聲對比估計）啟發的對比損失函數。對于一個包含N個圖像-文本對的批次：

• 系統計算所有N × N組合的圖像和文本嵌入之間的余弦相似度。
• 優化目標是最大化N個正確（匹配）對之間的相似度，同時最小化N2 - N個不正確（非匹配）對之間的相似度。
• 這一目標通過優化相似度分數上的對稱交叉熵損失來實現。

從數學角度，對于一個批次中的圖像嵌入{I?,I?,...,I__N}和文本嵌入{T?,T?,...,T__N}，圖像到文本方向的損失函數表示為：

模型同時計算圖像到文本和文本到圖像兩個方向的損失，最終的總損失是這兩者的平均值。其中，τ是控制分布軟度的溫度參數。這種對稱公式設計確保兩種模態（圖像和文本）得到聯合優化，從而有效對齊它們的表示空間。

CLIP零樣本能力

CLIP的核心優勢在于其卓越的零樣本學習能力。在預訓練完成后，CLIP可以通過構建文本提示（例如，"一張[類別]的照片"）并比較輸入圖像嵌入與各可能類別的文本嵌入來執行圖像分類等任務，而無需任何特定任務的訓練數據。

零樣本CLIP模型相較于標準ImageNet模型表現出更強的分布偏移魯棒性。（左圖）理想的魯棒模型（虛線）應在ImageNet分布和其他自然圖像分布上表現一致。零樣本CLIP模型將這種"魯棒性差距"最多縮小了75%。圖中展示的是在logit變換值上的線性擬合結果，附帶自助法估計的95%置信區間。（右圖）可視化展示了香蕉類別的分布偏移情況，該類別在7個自然分布偏移數據集中的5個中共同存在。圖中比較了性能最佳的零樣本CLIP模型ViT-L/14@336px與在ImageNet驗證集上具有相同性能水平的ResNet-101。

SigLIP：用于語言-圖像預訓練的Sigmoid損失（2023）

SigLIP由Google Research團隊開發，在CLIP建立的基礎架構上引入了訓練目標的關鍵性創新。與CLIP使用基于softmax的對比損失不同，SigLIP采用了成對的sigmoid損失函數，這一改進簡化了訓練流程并提高了計算效率和模型性能，尤其是在處理超大規模數據集時表現更為突出。

SigLIP架構

SigLIP保持了與CLIP相似的雙編碼器架構設計：

• 圖像編碼器：通常采用Vision Transformer或其他先進的視覺骨干網絡。
• 文本編碼器：基于transformer架構的語言模型。

這種架構設計在很大程度上獨立于特定編碼器的選擇，為在不同應用場景中進行擴展或適應提供了靈活性。

SigLIP訓練目標

SigLIP與CLIP的核心區別在于用基于sigmoid的損失函數替代了對比損失機制。對于一個包含N個圖像-文本對的批次：

• 每一對(I?, T?)被視為一個正樣本，目標標簽為1。
• 所有其他組合(I?, T?)，其中i ≠ j，被視為負樣本，目標標簽為0。

模型計算每個可能對的余弦相似度I? ? T?，并應用sigmoid函數將這些相似度分數轉換為表示給定圖像-文本對匹配概率的值。然后，損失函數被定義為預測概率與相應目標標簽之間的二元交叉熵，其數學表達式為：

這種成對公式化方法消除了在整個批次范圍內進行歸一化的需求，這是CLIP基于softmax的對比損失所必需的。通過這種改進，SigLIP簡化了計算過程并增強了訓練穩定性，特別是在擴展到更大批量大小的場景中。

SigLIP的優勢

SigLIP相較于CLIP具有以下幾個關鍵優勢：

• 計算效率：sigmoid損失解耦了樣本對之間的損失計算，與CLIP的批次范圍歸一化相比，實現了更高度的并行性并減少了內存開銷。
• 魯棒性：SigLIP在具有挑戰性的數據集上展現出更優的性能表現，這可能源于其能夠更有效地處理噪聲數據或不平衡分布。
• 可擴展性：簡化的損失函數設計使模型能夠在更大規模數據集上進行有效訓練，如Google內部擁有的數十億圖像-文本對語料庫。

CLIP和SigLIP之間的主要區別

雖然CLIP為多模態表示學習奠定了基礎框架，但SigLIP通過優化損失函數提高了效率和可擴展性，使其尤其適合于工業級應用場景。兩者各有所長，在不同應用環境中可以根據實際需求選擇合適的模型。

多模態大型語言模型（MLLMs）

CLIP和SigLIP的出現對多模態大型語言模型（MLLMs）的發展產生了深遠影響，這類模型將視覺感知與語言理解能力整合到統一的計算框架中。現代MLLMs充分利用CLIP和SigLIP預訓練的圖像-文本對齊能力，實現了視覺問答（VQA）、圖像描述生成和多模態推理等復雜任務。下文將探討CLIP和SigLIP如何在LLaVA等代表性MLLMs中得到應用。

LLaVA：語言和視覺助手（2023）

LLaVA（Large Language and Vision Assistant，大型語言和視覺助手）由加州大學伯克利分校和微軟研究院合作開發，是一個基于CLIP視覺編碼器的典型MLLM實例。LLaVA將CLIP的視覺編碼器（通常是Vision Transformer）與大型語言模型（如LLaMA或Vicuna）結合，構建了一個能夠同時處理圖像和文本輸入的統一系統。

該架構的工作機制可概括為：

• 視覺信息處理：CLIP的預訓練圖像編碼器從輸入圖像中提取高維視覺特征表示。
• 模態轉換層：基于線性變換或多層感知機的投影層將CLIP視覺特征映射到語言模型的表示空間，確保模態間的語義兼容性。
• 多模態融合：視覺特征表示與文本標記嵌入進行連接或交錯處理，使語言模型能夠對兩種輸入信息進行聯合推理。
• 任務適配：LLaVA在視覺指令遵循數據集（如各類視覺問答或圖像描述任務）上進行微調，使融合模型能夠適應特定的下游應用需求。

通過充分利用CLIP的零樣本泛化能力，LLaVA能夠以最小化的特定任務微調泛化到未見過的視覺-語言任務，這使其非常適合需要解釋圖像內容的交互式對話系統。

其他具有代表性的MLLMs

CLIP和SigLIP的表示學習范式也被整合到其他多種前沿MLLMs中，顯著增強了它們的多模態處理能力：

• BLIP-2（Bootstrap Language-Image Pre-training）：由Salesforce Research團隊開發，BLIP-2采用CLIP的視覺編碼器提取圖像特征，隨后將這些特征輸入到輕量級查詢轉換器（Q-Former）中，最終由OPT或Flan-T5等大型語言模型進行處理。這種模塊化設計方法減少了計算資源需求，同時在視覺問答和圖像-文本檢索等任務上保持了強大的性能。
• Flamingo：由DeepMind研發，Flamingo利用CLIP的視覺編碼器處理輸入序列中的多個圖像，并將提取的視覺特征與預訓練的Chinchilla等大型語言模型集成。Flamingo架構的特色在于引入了"Perceiver Resampler"模塊來壓縮視覺特征表示，使系統能夠有效處理包含文本和長視覺序列的混合輸入。
• Google基于SigLIP的模型：雖然具體實現細節可能存在差異，但SigLIP的計算效率和魯棒性使其自然地適用于Google的多模態模型系列，如Gemini。SigLIP的成對sigmoid損失機制使這些模型能夠在超大規模數據集上進行高效訓練，提升了圖像引導對話和視覺內容理解等任務的性能表現。

CLIP和SigLIP在MLLMs中的技術優勢

CLIP和SigLIP為MLLMs提供了以下核心技術優勢：

• 預訓練語義對齊：CLIP和SigLIP通過大規模預訓練提供了已對齊的圖像-文本表示空間，為MLLMs提供了堅實的基礎，減少了下游任務中對大量標注數據的依賴。
• 架構兼容性：這些模型基于編碼器的設計原理使其能夠與各種大型語言模型架構無縫集成，為研究人員提供了靈活的實驗環境。
• 計算可擴展性：特別是SigLIP的高效損失函數設計，對于需要處理海量多模態數據的MLLMs具有顯著價值，而CLIP的零樣本能力則增強了模型的任務適應性。

挑戰和考慮因素

盡管具有諸多優勢，將CLIP和SigLIP整合到MLLMs框架中仍面臨一系列技術挑戰。CLIP的固定維度嵌入空間可能限制模型進行細粒度視覺推理的能力，通常需要額外的投影層或特定任務微調來克服這一局限。同樣，SigLIP雖然在可擴展性方面表現出色，但在小規模訓練設置中可能會犧牲CLIP所具備的部分零樣本泛化能力。此外，兩種模型都不可避免地繼承了來自互聯網抓取訓練數據中存在的社會偏見，這些偏見可能會傳播到MLLM的輸出結果中，因此需要實施嚴謹的評估方法和偏見緩解策略。

結論

CLIP和SigLIP代表了多模態人工智能研究的重要里程碑，使計算機系統能夠以前所未有的方式理解和關聯視覺與文本信息。CLIP開創的對比學習范式為零樣本視覺理解開辟了新途徑，而SigLIP的sigmoid損失機制則提供了計算效率和可擴展性方面的重要改進。這兩種模型共同強調了視覺-語言聯合建模的技術價值，為人工智能領域的未來創新奠定了理論和實踐基礎。對于研究人員和工程實踐者而言，這些模型為探索視覺與語言交互的深層機制提供了堅實的技術平臺，推動了多模態智能系統在各應用領域的持續進步。

CLIP和SigLIP的技術創新不僅拓展了多模態表示學習的理論邊界，還為不同數據模態間的語義融合提供了有效方法論。隨著這些基礎模型的持續演進，它們的應用領域必將進一步擴大，在醫療診斷輔助、智能教育系統、交互式娛樂等眾多垂直領域釋放新的技術潛力。多模態人工智能的發展歷程方興未艾，CLIP和SigLIP所代表的技術突破僅是人類向構建真正理解和交互世界的智能系統邁出的重要一步。