本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

近年來，隨著計算機視覺與自然語言處理技術的飛速發展，CLIP（Contrastive Language-Image Pre-training）模型作為一種強大的跨模態預訓練模型，其應用與研究領域不斷拓展。為了進一步提升CLIP模型在處理復雜任務時的效能與精度，眾多研究團隊致力于對傳統的CLIP模型進行多維度、深層次的改進，旨在增強其特定領域的能力，比如增強CLIP在少樣本分類任務上的泛化能力、細化CLIP的視覺識別區域、強化CLIP對圖像內容的關注而非對圖像非內容特征的關注、優化圖像-文本跨模態對齊等能力。

在具體實施上，這些改進大多聚焦于CLIP的視覺編碼器和文本編碼器的改造。例如，通過對編碼器的注意力池化層進行參數微調，可以使其更加適應特定任務的需求；引入多模態通道則可以增強模型在處理跨模態信息時的靈活性和魯棒性；改造最終回歸層則可以直接優化模型的輸出性能；而改進輸入數據的方式，如為模型提供偽標簽或預先增強圖像、文本數據，則可以從源頭上提升模型的學習效率和效果。這些改造包括但不限于以下幾個方面：

• 編碼器改造：對CLIP的視覺和文本編碼器進行結構調整或參數優化，以提高特征提取的能力。
• 注意力機制優化：通過微調注意力池層的參數或引入新的注意力模式，增強CLIP對關鍵視覺信息的捕捉。
• 多模態通道融合：在CLIP中引入多模態融合技術，如使用交叉注意力機制，以加強圖像和文本之間的信息交流。
• 回歸層調整：改造CLIP的最終回歸層，以更好地適應不同任務的需求，如分類、檢測或分割。
• 輸入數據改進：為CLIP輸入經過預處理或增強的數據，提供偽標簽以指導學習，或通過數據增強提高模型的魯棒性。
• 正則化技術：應用各種正則化技術，如Dropout、權重衰減等，以防止模型過擬合，并提高其泛化能力。
• 損失函數設計：設計新穎的損失函數，以更好地反映任務特性，促進模型在特定方向上的性能提升。

本文精心梳理了數篇前沿研究，這些研究聚焦于如何通過創新策略改進傳統的CLIP模型，以顯著增強其處理復雜任務的能力。從優化少樣本分類的泛化性到細化視覺識別精度，再到深化圖像內容與文本之間的跨模態對齊，每一篇都為我們揭示了CLIP模型潛力的新邊界。接下來就讓我們一起看看CLIP模型還能如何被進一步強化與拓展吧！

使用語義感知微調增強 Few-shot CLIP

https://arxiv.org/abs/2311.04464

關鍵詞：CLIP的視覺編碼器注意力池層參數微調

文章總結

文章提出了一種名為Semantic-Aware FinE-tuning (SAFE)的新方法，旨在通過微調CLIP模型的視覺編碼器中的特定部分來增強其在 Few-shot場景下的表現。文章首先指出，在少樣本(few-shot)微調過程中，直接采用預訓練的CLIP模型可能導致災難性遺忘和過擬合。此外，預訓練的參數可能并不完全適合所有下游任務。CLIP的視覺編碼器包含一個獨特的注意力池層，該層對密集特征圖執行空間加權求和。由于密集特征圖中包含了豐富的語義信息，文章認為應該根據下游任務的具體需求來調整這些特征的權重。為了解決上述問題，文章提出了SAFE方法。這一方法在訓練過程中微調注意力池層的參數，目的是讓模型能夠專注于對當前任務更為重要的語義特征。例如，在寵物分類任務中，模型應更多地關注耳朵和眼睛，而不是車輛分類任務中可能更關注的側鏡。在推理階段，SAFE采用了一種殘差混合技術，結合了經過微調的注意力池層和原始注意力池層的特征。這樣做可以整合來自少樣本的特定知識和預訓練模型的先驗知識。SAFE方法不僅獨立有效，還可以與現有的適配器方法(如SAFE-A)兼容，進一步提升CLIP在少樣本分類任務中的表現。文章通過在11個基準數據集上的廣泛實驗，證明了SAFE和SAFE-A方法在1-shot和4-shot設置下均顯著優于現有最佳方法。

模型解析

該文章改進CLIP在少樣本分類任務上的泛化能力的關鍵在于微調了CLIP視覺編碼器中的注意力池層的參數，使其更加適用于當前任務，并且整合了微調后的和原始注意力池層。傳統的CLIP模型的視覺編碼器主要包含以下幾類層：視覺特征提取層（包括卷積層、激活層、歸一化層、殘差連接）、注意力池層（這是CLIP特有的層，它使用多頭注意力機制來對密集特征圖進行空間加權求和，生成能夠捕捉圖像全局上下文信息的特征表示）、池化層（用于降低特征的空間維度，從而減少參數數量和計算量，同時使特征檢測更加魯棒）、全連接層（在卷積神經網絡的末端，用于將學習到的特征映射到最終的輸出，例如類別概率）。文章對注意力池層進行的參數微調是基于CLIP在池化層之前的密集特征的有意義的語義屬性，從而促使模型根據特定的下游任務關注不同的語義信息。

具體來說，CLIP獨特的注意力池層利用了Transformer的多頭注意力機制。注意池層內部的操作如下：通過線性層Linearq將全局平均特征F映射到query q，通過線性層Lineark和Linearv將每個空間位置的密集特征F映射到key-value對。然后，注意池層通過縮放后的點積注意（dot-product attention）得到輸入的密集特征的空間加權和，再輸入線性層Linearc。注意池層的輸出是整個圖像的綜合表示，可以捕獲密集特征映射中的關鍵語義，用于視覺識別。簡而言之，注意池化層對密集特征中的各種空間語義賦予不同的權重，通過加權和的方法將特征池化。

另外在推理過程中，文章將微調后的注意池層與原始注意池層進行殘差混合，將預訓練得到的先驗知識與Few-shot知識結合起來，從而避免了在少樣本任務上微調可能導致的災難性遺忘問題。

Alpha-CLIP：關注你想重點關注的部分，看這篇就夠了

https://arxiv.org/abs/2312.03818

關鍵詞：在CLIP輸入中引入新通道

文章總結

對比語言-圖像預訓練 （CLIP） 在從不同任務的圖像中提取有價值的內容信息方面發揮著至關重要的作用。它對齊文本和視覺模式來理解整個圖像，包括所有細節，甚至是那些與特定任務無關的細節。然而，為了更精細地理解和控制圖像的編輯，關注特定的感興趣區域變得至關重要，這些區域可以被人類或感知模型指示為點、蒙版或框。為了滿足這些要求，我們引入了 Alpha-CLIP，這是 CLIP 的增強版本，帶有輔助 Alpha 通道，用于建議關注區域，并通過構建的數百萬個 RGBA 區域文本對進行微調。Alpha-CLIP不僅保留了CLIP的視覺識別能力，而且能夠精確控制圖像內容的重點。它在各種任務中都表現出了有效性，包括但不限于開放世界識別、多模態大型語言模型和條件 2D/3D 生成。它具有很大的潛力，可以作為圖像相關任務的多功能工具。

模型解析

文章介紹了一個名為Alpha-CLIP的模型，它是Contrastive Language-Image Pre-training (CLIP)的一個增強版本，主要改進在于增加了一個輔助的Alpha通道，用于指示模型應該關注圖像中的特定區域。以下是對Alpha-CLIP模型架構的總結：

• Alpha通道引入：Alpha-CLIP在傳統的RGB圖像通道基礎上增加了一個Alpha通道，該通道作為一個蒙版（mask），可以用來指定圖像中的感興趣區域（Region of Interest, RoI）。Alpha通道的值范圍從0（完全透明，表示背景）到1（完全不透明，表示前景）。
• 數據生成管道：為了訓練Alpha-CLIP，研究者設計了一個數據生成管道，利用現有的圖像和標注數據，結合Segment Anything Model (SAM) 和多模態大型模型（如BLIP-2）生成了數百萬個RGBA區域文本對。Alpha-CLIP通過這些RGBA區域文本對進行微調。在微調過程中，保持CLIP文本編碼器固定，只訓練圖像編碼器，特別是新引入的Alpha卷積層，以及隨后的Transformer塊。
• Alpha-CLIP的圖像編碼器在結構上進行了細微的修改，以接受額外的Alpha通道輸入。在Vision Transformer (ViT) 結構中，Alpha通道通過一個與RGB卷積層平行的Alpha卷積層進行處理。在訓練Alpha-CLIP時，采用了特定的數據采樣策略，以偶爾用原始圖像-文本對替換生成的RGBA-文本對，并設置Alpha通道為全1，以保持對全圖的識別能力。

總結來說，Alpha-CLIP通過對CLIP模型的擴展，引入了Alpha通道來指定圖像中的關注區域，并通過大量RGBA區域文本對的微調，實現了對圖像特定內容的精確控制和強調，同時保持了CLIP的原有視覺識別能力。

CLIP-VG：基于Self-paced課程學習，使CLIP實現視覺定位

https://arxiv.org/abs/2305.08685

關鍵詞：改造CLIP最終回歸層來實現視覺定位，self-paced式端到端優化

文章總結

視覺定位 （VG, Visual Grounding） 是視覺和語言領域的一個關鍵主題，它將由文字表達描述的特定區域定位在圖像中。為了減少對手動標記數據的依賴，已經開發了無監督視覺定位技術，以使用偽標簽來定位區域。然而，現有無監督方法的性能高度依賴于偽標簽的質量，這些方法總是遇到多樣性有限的問題。為了利用視覺和語言預訓練模型來解決視覺定位問題，并合理利用偽標簽，我們提出了CLIP-VG，這是一種新方法，可以對帶有偽語言標簽的CLIP進行self-paced課程學習。我們提出了一種簡單而高效的端到端網絡架構，以實現CLIP到視覺定位的遷移學習。基于CLIP架構，進一步提出單源和多源self-paced課程算法，該算法可以逐步找到更可靠的偽標簽來學習最優模型，從而實現偽語言標簽的可靠性和多樣性之間的平衡。在單源和多源場景下，該方法在RefCOCO/+/g數據集上的表現明顯優于目前最先進的無監督方法，改進幅度為6.78%至 10.67%和 11.39%至 14.87%分別。其結果甚至優于現有的弱監督視覺定位方法。此外，我們的方法在完全監督的環境中也具有競爭力。

模型解析

• CLIP-VG采用了一個簡單而高效的純Transformer編碼器架構，該架構只需要調整少量參數，以最小的訓練資源實現CLIP模型向視覺定位任務的遷移。為了防止災難性遺忘，并保持CLIP的泛化能力，CLIP的編碼器參數在訓練過程中被凍結，只有與Transformer相關的少量參數被更新和優化。最后使用回歸多層感知器（MLP）作為最終的回歸層，用于預測文本描述所指的視覺區域的邊界框（bounding box）。
• 單源偽標簽是通過利用空間關系先驗知識和由檢測器提供的物體標簽（包括類別和屬性信息）合成的。多源偽標簽是利用了基于場景圖生成的方法來生成偽關系標簽，或使用基于圖像描述的方法來生成偽字幕標簽。在多源情況下，模型首先獨立地為每個偽標簽源學習一個初步的特定源視覺定位模型，然后根據每步的平均實體數量選擇偽標簽源，逐步從簡單到復雜。在MSA中，提出了源特定可靠性（Source-specific Reliability, SR）和跨源可靠性（Cross-source Reliability, CR）的概念，以利用來自不同源的偽標簽進行學習。
• 提出了單源（Single-source Self-paced Adapting, SSA）和多源（Multi-source Self-paced Adapting, MSA）self-paced課程學習算法。這些算法逐步找到更可靠的偽標簽，以提高定位性能。模型包括一個評估實例級質量的方案，通過學習一個初步的視覺定位模型作為可靠性測量器，使用特定的標簽源來計算樣本的可靠性，并構建可靠性直方圖（Reliability Histogram, RH）?；谛薷牡亩M制搜索，設計了一個貪婪樣本選擇策略，以實現可靠性和多樣性之間的最佳平衡。

總的來說，CLIP-VG模型通過self-paced課程學習的方式，有效地利用偽語言標簽來提升視覺定位任務的性能，同時保持了模型的高效性和泛化能力。

RWKV-CLIP：強大的視覺語言表征學習

https://arxiv.org/abs/2406.06973

關鍵詞：優化CLIP視覺、文本編碼器

文章總結

對比語言-圖像預訓練 （CLIP） 通過使用從網站獲得的圖像-文本對擴展數據集，顯著提高了各種視覺-語言任務的性能。本文從數據和模型架構的角度進一步探討了CLIP。為了解決雜噪聲數據的普遍存在問題并提高從互聯網抓取的大規模圖像文本數據的質量，我們引入了一個多樣化的描述生成框架，該框架可以利用大型語言模型 （LLM） 從基于 Web 的文本、合成標題和檢測標簽中合成和提煉內容。此外，我們提出了RWKV-CLIP，這是第一個由RWKV驅動的視覺語言表征學習模型，它將transformer的有效并行訓練與RNN的高效推理相結合。在各種模型尺度和預訓練數據集上的綜合實驗表明，RWKV-CLIP是一個強大而高效的視覺語言表征學習，它在幾個下游任務中實現了最先進的性能，包括線性探針、 零樣本分類和零樣本圖像-文本檢索。

模型解析

RWKV-CLIP由多個空間混合(Spatial Mixing)和通道混合(Channel Mixing)模塊堆疊而成，通過這些模塊實現對輸入圖像和文本的深入處理，從而優化視覺、文本特征的融合。

• 優化特征融合：在空間混合階段，模型利用注意力機制進行全局的線性復雜度計算，強化特征在通道層級的交互。輸入數據通過四個并行線性層進行處理，以獲得多頭部的向量。利用雙向偏移量增強特征在通道層級的交互，例如使用Q-Lerp和B-Lerp進行圖像和文本的線性插值。在空間混合之后，模型通過通道混合模塊進一步細化特征表示。

• 模型采用了RWKV單元，這是一種新型的RNN單元，旨在解決Transformer中的內存瓶頸和二次方計算復雜度問題。RWKV單元通過高效的線性擴展保持了并行訓練和魯棒可擴展性。

為了提高大規模網絡圖像-文本數據的質量，引入多樣化描述生成框架，利用大型語言模型（LLMs）合成和優化來自網絡文本、合成字幕和檢測標簽的內容。RWKV-CLIP通過改進的編碼器架構，實現了圖像和文本之間的更優跨模態對齊。模型通過優化數據和模型架構，增強了對噪聲數據的魯棒性，尤其是在處理大規模網絡數據時。

CLAP：如何將內容與風格隔離開？增強提示對比學習來幫你

https://arxiv.org/abs/2311.16445

關鍵詞：改進CLIP編碼器

文章總結

對比視覺語言模型（如CLIP）因其學習特征出色的泛化能力，在多種下游任務中獲得了廣泛關注。然而，這些模型學習的特征往往融合了內容和風格信息，這在一定程度上限制了其在分布變化下的泛化能力。為了克服這一局限性，文章采用因果生成視角來處理多模態數據，并提出結合數據增強的對比學習方法，以從原始表示中分離出內容特征。為實現這一目標，文章首先探索了圖像增強技術，并開發了一種方法將其無縫集成到預訓練的CLIP類模型中，以提取純粹的內容特征。更進一步地，作者認識到文本數據固有的語義豐富性和邏輯結構，探索了文本增強的使用，以從風格特征中分離出潛在內容。這使得CLIP類模型的編碼器能夠專注于潛在的內容信息，并通過預訓練的CLIP類模型優化學習到的表示。通過在多個數據集上進行了廣泛的實驗，結果表明，在零樣本和少樣本分類任務上取得了顯著改進，同時對各種擾動的魯棒性也得到了增強。這些結果凸顯了文章所提方法在優化視覺語言表示和推動多模態學習領域最新進展方面的有效性。

模型解析

文章提出了一種名為CLAP（Contrastive Learning with Augmented Prompts）的新方法，旨在通過對比學習和數據增強來分離視覺-語言模型中的內容和風格特征。

• 文章采用了因果生成模型來理解多模態數據（圖像和文本）。在這個模型中，圖像和文本數據被認為是通過不同的生成過程由共享的潛在空間中的潛在變量產生的。這個空間被分為兩部分：一部分對應于內容變量 c ，另一部分對應于風格變量 s 。內容變量 c 被假設為決定樣本標簽 y 的因素。
• 為了分離內容和風格信息，文章探索了圖像增強技術。通過在潛在風格變量上應用軟干預（soft interventions），可以生成增強的圖像，其中內容信息保持不變而風格信息發生變化。作者開發了一種方法將圖像增強技術集成到預訓練的CLIP模型中。這是通過設計一個解耦網絡（disentangled network）來實現的，該網絡使用對比損失（contrastive loss）和圖像增強來微調預訓練的CLIP模型，從而提取內容特征。
• 鑒于文本數據的語義豐富性和邏輯結構，文章進一步探索了文本增強。通過文本增強，可以在不改變內容的情況下改變風格因素，這有助于分離出潛在的內容。例如，將文本從“a photo of a dog”變換為“a sketch of a dog”在語言模態中是直接的，而在圖像數據中實現類似的變換則具有挑戰性。接著，文章提出了對比學習與增強提示CLAP方法，它使用預訓練的文本編碼器和文本增強來訓練解耦網絡。然后，將訓練好的解耦網絡轉移到CLIP模型的圖像編碼器上，以提取內容表示。

總結來說，CLAP通過結合因果生成模型、圖像和文本增強技術，以及對比學習，有效地從CLIP類模型中分離并提取了內容特征，從而提高了模型在多模態學習中的性能和魯棒性。

關注你的近鄰：免訓練的開放詞匯語義分割

https://arxiv.org/abs/2404.08181

關鍵詞：通過在CLIP的視覺Transformer的自注意力中強制執行補丁定位實現密集預測

文章總結

盡管深度學習在密集視覺識別問題（如語義分割）上取得了顯著進展，但傳統方法仍受到固定類別集的限制。與此同時，諸如CLIP（對比語言-圖像預訓練）之類的視覺-語言基礎模型在眾多零樣本圖像級任務中展示了非凡的有效性，這得益于其強大的泛化能力。最近，一些研究工作探討了將這些模型應用于開放詞匯集語義分割（Open-Vocabulary Semantic Segmentation, OVSS）。然而，現有方法往往依賴于不切實際的監督式預訓練或需要訪問額外的預訓練網絡。本研究為無需訓練的OVSS提出了一種強大的基線方法，稱為鄰域感知CLIP（Neighbour-Aware CLIP, NACLIP），這是一種針對此情景量身定制的CLIP簡單適配方法。本文的方法在CLIP的視覺Transformer的自注意力中強制執行補丁定位，盡管這對于密集預測任務至關重要，但在OVSS文獻中卻被忽視了。通過融入有利于分割的設計選擇，我們的方法在不需要額外數據、輔助預訓練網絡或廣泛超參數調優的情況下，顯著提高了性能，使其在現實世界應用中具有高度的實用性。我們在8個流行的語義分割基準上進行了實驗，并在大多數情況下取得了最先進的性能。

模型解析

• 傳統CLIP模型在自注意力模塊中學習到的是空間不變性的特征，這對于圖像級別的任務（如分類）是有益的，但對于密集預測任務（如語義分割）則不夠。NACLIP通過引入空間一致性，改進了自注意力機制，使得模型能夠更好地捕捉局部空間信息。
• NACLIP強制執行補?。╬atch）在CLIP自注意力中的定位，這是通過修改自注意力模塊來實現的，具體如下：（1）引入空間一致性：通過將高斯核（Gaussian kernel）添加到自注意力模塊的注意力圖中，增強了對每個補丁鄰域的關注。（2）修改相似性度量：NACLIP使用基于鍵（key）向量的點積來計算相似度，而不是傳統的基于查詢（query）和鍵（key）的點積。
• 在NACLIP中，移除了CLIP模型中的[CLS]標記，因為在密集預測任務中，該標記對于提取有用的分割信息并不成功。此外，NACLIP簡化了CLIP的視覺Transformer的最終編碼器塊，移除了最終編碼器塊的前饋網絡（feed-forward network），因為其參數是為圖像級別任務而非密集預測任務訓練的。

通過這些改進，NACLIP能夠更好地適應OVSS任務，特別是在沒有額外訓練數據或預訓練網絡的情況下，提高了模型對新類別的泛化能力。