GPT-4的視覺能力還沒全量放開測試，開源對手就隆重登場了。

浙大竺院的一位校友，與微軟研究院等機構合作推出了新版多模態模型LLaVA。

LLaVA在11個測試數據集上都成為了SOTA，在GitHub上更是斬獲6k+星標。

開發者提供的數據顯示，LLaVA的綜合能力已經達到了GPT-4V水平的85%，在復雜推理任務上更是超過了96%。

讀驗證碼、判斷狗的品種，甚至根據圖像生成網頁代碼……都難不倒LLaVA。

△??/Matt Shumer

資源方面，LLaVA的樣本量僅為120萬，在單臺8*A100的機器上，1天就能完成訓練。

不過體驗過的網友普遍表示，LLaVA離GPT-4V還存在一些差距。

那么LLaVA究竟表現如何，我們也實測了一番。

和GPT-4V有差距，但也能用

為了更加直觀地對比LLaVA和GPT-4V的表現，我們直接使用了微軟發布的GPT-4V說明書中的案例。

首先來看最基本的人物識別。

這里GPT-4V說明書中使用的prompt是描述這張圖，我們也如法炮制。

結果LLaVA不僅一個名字也沒提，還把人數也數錯了，但也判斷出了這里面有足球運動員、演員和歌星。

于是我們繼續追問LLaVA這些人的名字，結果它告訴我們信息量不足以判斷。

這輪GPT-4V略勝一籌，不過或許是因為一下八個人太多了，于是我們又給LLaVA加試了一道簡單些的題。

這次經過一輪追問，LLaVA成功認出了圖片中的老馬和小扎，所以這輪我們算它過關。

那如果是專業的圖像呢？比如醫學影像。

GPT-4V的答案是肺部感染或炎癥，而LLaVA說的是吸煙或慢阻肺引發的凋亡細胞和瘢痕組織。

不過兩個模型都沒有確定自己的結論，都提示需要進一步檢查，不過LLaVA給出的“黑色部分組織有異常”是正確的。

除了這些真·圖像之外，文字識別也是多模態模型測試中的一項常見任務。

這張圖中，LLaVA成功識別了里面的英文，但下面的日文片假名無論如何也認不出來。

除了上面這些正經的內容，LLaVA能不能解讀表情包呢？

這次，LLaVA正確識別了圖中的青蛙玩具和文字，而對表情包的解釋，對了一半。

這個表情包諷刺的是有一群人發現自己錯過了計劃時間之后反而把預定事項推得更遲，LLaVA只說出了前面一半。

總結下來就是，GPT-4V的識別技能，LLaVA基本上也都會，但又都差點意思。

換言之就是，雖然沒那么厲害，但也是能用的水平了。

那么，LLaVA是如何打造出來的呢？

由Vicuna和CLIP結合而成

LLaVA的訓練一共分為兩個階段。

首先是將文本與圖像對齊的預訓練過程，這一階段一共使用了60萬對圖像-文本信息。

第二階段則是在對齊的基礎上使用視覺指令進行調優，讓LLaVA熟悉用戶可能問到的各種問題。

模型結構方面，LLaVA的語言模型是羊駝家族的Vicuna，視覺模型則采用了OpenAI的CLIP，并以MLP作為模態連接器。

為了讓LLaVA能夠識別更多專業領域的內容，研究團隊在開發過程中還使用了ScienceQA數據集。

開發過程完畢之后，研究團隊使用GPT-4對LLaVA的輸出內容進行評價。

利用COCO數據集中的內容，開發者設計了三種類型的問題，然后讓LLaVA輸出答案并交給GPT-4評分。

• 問答式對話：將COCO數據集中的問題改編成問句進行提問
• 細節描述：要求LLaVA對圖像內容提供更詳細具體的說明
• 復雜推理：要求LLaVA在理解的基礎上推理出圖像中沒有直接顯含的信息（如：人物關系）

目前，LLaVA的代碼、模型和訓練數據都已經開源，有7B和13B兩個參數量的模型，均為全量微調，LoRA版本也將很快發布。

作者簡介

LLaVA相關論文的第一作者是威斯康星大學麥迪遜分校的華人博士生Haotian Liu。

他還是一名浙大竺院校友，期間師從計算機學院金小剛教授和吳飛教授。

他的現任導師Yong Jae Lee則是相關論文的通訊作者。

此外，來自微軟研究院和哥倫比亞大學的學者也有參與LLaVA的相關工作。

項目主頁（內含DEMO及GitHub、HuggingFace鏈接）：https://llava-vl.github.io/

論文地址：
[1]https://arxiv.org/abs/2304.08485
[2]https://arxiv.org/abs/2310.03744

—