Sam Altman在各種場合都提到，大語言模型的多模態能力，是未來AI技術能夠造福人類的最亟待突破的領域。

那么現在在多模態大模型的視覺功能能否達到與語言功能匹配的水平？

當前多模態模型取得的進步很大程度上歸功于大語言模型（LLM）的推理能力。但在視覺方面，模型往往只基于實例級別的對比語言-圖像預訓練（CLIP）。

最近，來自紐約大學和UC伯克利的團隊研究表明，多模態大語言模型（MLLM）在視覺處理方面仍存在普遍性的缺陷。

其中，團隊成員堪稱「豪華」，除了領隊謝賽寧外，共同參與還有馬毅和LeCun兩位大佬。

論文地址：https://arxiv.org/abs/2401.06209

開源項目：https://github.com/tsb0601/MMVP

在一些特殊場景之下，很多MLLM對于圖像內容識別能力甚至不如隨機瞎猜。

在很多人類能夠輕易答對的圖像識別問題上，多模態大模型表現卻非常掙扎：

GPT-4V：老鷹只有一只眼。

GPT-4V：車門是關著的。

GPT-4V：蝴蝶的腳看不見。

GPT-4V：校車是背向鏡頭的。

GPT-4V：紅心的邊框是深色的。

研究人員提出了一種造成這種視覺缺陷最關鍵的原因：「對比語言-圖像預訓練盲對（CLIP-blind pairs）」——發現CLIP嵌入中的識別不準確，最主要是來源于那些視覺上不同，但由CLIP模型編碼卻很相似的圖像。

進一步地，研究團隊評估了SOTA開源模型（LLaVA-1.5、InstructBLIP、Mini-GPT4）和閉源模型（GPT-4V、Gemini、Bard）在這一類圖像中的識別能力。

再結合與人類的視覺能力對比，發現多模態LLM和人類視覺能力之間存在顯著的性能差距。

除GPT-4V和Gemini之外的模型得分都低于隨機猜測水平（25%）。最先進的GPT-4V和Gemini在解決這類基本視覺基礎問題上表現也很不理想。

在此基礎之上，研究人員嘗試解決這個問題。

他們最終提出了「交錯特征混合（Interleaved-MoF）」方法來利用CLIP和DINOv2嵌入的優勢來增強圖像表征。

證明了將視覺自監督學習特征與MLLM集成起來可以顯著增強LLM的視覺基礎能力。

他們從CLIP和DINOv2中獲取經過處理的特征，并在保持其原始空間順序的同時對它們進行交錯混合。

「交錯特征混合（Interleaved-MoF）」顯著增強了視覺基礎能力，在MMVP基準中獲得了10.7%的能力增強，同時還不影響模型遵循指令的能力。

這個實驗在LLaVA-1.5設置和各種圖像分辨率設置下能夠重復，也能獲得相似的性能提升。

CLIP模型的視覺模式

具體來說，研究人員辨識出CLIP無法識別的圖像對（CLIP-blind pairs）之后，他們梳理了一些系統性的視覺模式，這些模式往往會讓CLIP視覺編碼器產生誤解。

他們參考了MMVP基準測試中的問題和選項。通過這些問題，把圖像中難以捉摸的視覺模式轉換成了更加清晰、易于歸類的基于語言的描述。

研究人員總結出的9種視覺模式如下：

朝向和方向

某個特征是否出現

某種狀態和條件

數量的問題

顏色和外觀

位置和上下文

結構特征

文字

不同的視角

在此基礎之上，研究人員引入了一個新的基準：MMVP-VLM，可以系統地研究CLIP模型是否能很好地處理這些視覺模式。

研究人員將MMVP基準測試中的問題子集提煉成更簡單的語言描述，并將它們分類為視覺模式。為了保持每個視覺模式的問題數量平衡，他們會根據需要添加一些問題，以確保每個視覺模式由15個文本-圖像對表示。

擴大CLIP規模無助于解決視覺模式問題

隨著時間推移，CLIP模型經歷了發展和規模擴大。研究人員在一系列不同的CLIP模型上進行了MMVP的評估。

這些模型在大小、訓練數據和方法學等方面各有不同。

下表顯示，盡管增加網絡規模和訓練數據對于識別「顏色和外觀」以及「狀態和條件」這兩種視覺模式有所幫助，但其他的視覺模式仍然是對所有基于CLIP的模型的一大挑戰。

提高模型處理的圖像分辨率后，模型的改善程度十分有限，但當增加模型網絡的規模時，可以看到一定程度的性能提升。

多模態大語言模型（MLLM）的缺陷

CLIP的表現不佳與MLLM的視覺缺陷之間有關系嗎？

為了探索這一點，研究人員將MMVP中的問題分類為總結的這些視覺模式，并得到了每個MLLM在這些模式上的表現。

當CLIP視覺編碼器在特定視覺模式上的表現不佳時，MLLM型通常也會顯示出相似的不足。

例如，那些明確采用CLIP視覺編碼器的開源模型，比如LLaVA 1.5和InstructBLIP，它們的表現之間有著密切的相關性。

如果CLIP在處理諸如「方向」這類視覺模式時效果欠佳，那么MLLM在同樣的視覺模式識別上也同樣難以達到預期的性能。

此外，研究人員計算了CLIP模型和MLLM在每種視覺模式上的表現之間的Pearson Correlation。結果入下表顯示，LLaVA 1.5和InstructBLIP的系數得分均大于0.7。

這個高分表明CLIP模型中視覺模式識別的弱點與MLLM的表現之間存在很強的相關性。

全新特征混合（MoF）方法

如果開源大語言模型在視覺方面的短板源自CLIP視覺編碼器，該如何打造出一個表現更出色的視覺編碼器？

為了回答這個問題，他們研究了一種特征混合（MoF）技術，它將專注于視覺的自監督學習（DINOv2）特征與CLIP特征結合在一起。

在大語言模型中采用不同的特征混合（MoF）策略。左圖：標準的大語言模型采用現成的CLIP預訓練視覺編碼器；中圖：加性特征混合（A-MoF）大語言模型：在適配器前將CLIP和DINOv2特征進行線性混合；右圖：交錯特征混合（I-MoF MLLM）在適配器后將CLIP視覺Token和DINOv2視覺Token進行空間交錯。

只依賴視覺的自監督學習特征：雖提升了視覺識別能力，卻削弱了語言處理性能

研究人員將預訓練的DINOv2編碼器加入到大語言模型中，并與CLIP預訓練編碼器進行了混合，發現：

1. 隨著DINOv2特征比例的提高，大語言模型在執行指令方面的能力開始下降。特別是當DINOv2特征比例達到87.5%時，能力下降尤為顯著。

2. DINOv2特征比例的增加確實提升了模型對視覺信息的理解能力，但當DINOv2比例超過75%后，這一優勢開始減弱，并且遵循指令的能力也明顯受到了影響。

「交錯特征混合（Interleaved-MoF）」：融合CLIP和DINOv2特征，發揮雙方優點

最后研究人員提出「交錯特征混合（Interleaved-MoF）方法」，通過將CLIP和DINOv2的特征交錯排列，同時保持它們的原始空間順序，以此來整合兩者的優勢，從而增強圖像的表征。

這種交錯特征混合顯著提升了模型對視覺信息的理解能力，在MMVP測試中獲得了10.7%的性能提升，而且模型執行指令的能力并沒有受到影響。

這一實驗在LLaVA-1.5的配置以及不同圖像分辨率的條件下都進行了驗證，均得到了類似的性能提升。

交錯特征混合在提升視覺信息理解能力的同時，能夠保持模型執行指令能力的穩定。

研究人員還評估了POPE，目的是測試視覺基礎中的幻覺。

交錯特征混合方法還顯示出相對于原始LLaVA模型的持續改進。

僅僅增加圖像分辨率以及因此增加的token數量并不能提高視覺基礎能力。而交錯特征混合改進了視覺基礎任務中的表現。

研究人員還在MMBench和GQA等其他基準上評估了交錯特征混合方法，發現交錯特征混合方法在這些基準上也實現了相似的性能。

作者介紹

Shengbang Tong（童晟邦）

Peter Tong（Shengbang Tong，童晟邦）是NYU Courant CS的一名博士生，導師是Yann LeCun教授和謝賽寧教授。

此前，他在加州大學伯克利分校主修計算機科學、應用數學（榮譽）和統計學（榮譽）。并曾是伯克利人工智能實驗室（BAIR）的研究員，導師是馬毅教授和Jacob Steinhardt教授。

他的研究興趣是世界模型、無監督/自監督學習、生成模型和多模態模型。

P.S.馬毅教授還特別鳴謝了Meta對研究給予的巨大支持。