多模態大語言模型（Multimodal Large Language Model，MLLM）依賴于LLM豐富的知識儲備以及強大的推理和泛化能力來解決多模態問題，目前已經涌現出一些令人驚嘆的能力，比如看圖寫作和看圖寫代碼。

但僅根據這些樣例很難充分反映MLLM的性能，目前仍然缺乏對MLLM的全面評測。

為此，騰訊優圖實驗室聯合廈門大學在新建的評測基準MM上首次對現有12種開源MLLM模型進行了全面定量評測并公布了16個排行榜，包含感知和認知兩個總榜以及14個子榜單：

論文鏈接：https://arxiv.org/pdf/2306.13394.pdf

項目鏈接：https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models/tree/Evaluation

現有MLLM的定量評測方法主要分為三類，但都存在一定的局限導致難以全面反映其性能。

第一類方法在傳統的公開數據集上進行評測，例如圖像描述（Image Caption）和視覺問答（VQA）數據集。

但一方面這些傳統數據集可能難以反映MLLM涌現的新能力，另一方面由于大模型時代的訓練集都不再統一，因此難以保證這些評測數據集沒有被其他MLLM訓練過。

第二種方式是收集新的數據進行開放式評測，但這些數據要么未公開[1]，要么數量太少（僅有50張）[2]。

第三種方式聚焦于MLLM的某個特定方面，比如物體幻覺（Object Hallucination）[3]或者對抗魯棒性[4]，無法做全面評測。

目前亟需一個全面的評測基準來匹配MLLM的快速發展。研究人員認為一個通用的全面評測基準應該具有以下特點：

（1）應該覆蓋盡可能多的范圍，包括感知和認知能力。前者指的是識別物體，包括其存在性、數量、位置和顏色等。后者指的是綜合感知信息以及LLM中的知識來進行更復雜的推理。其中前者是后者的基礎。

（2）數據或者標注應該盡可能避免采用已有的公開數據集，以減少數據泄露的風險。

（3）指令應該盡可能簡潔并且符合人類的認知習慣。不同的指令設計可能會極大影響模型的輸出，但所有的模型都在統一的簡潔指令下進行評測可以保證公平性。一個好的MLLM模型應該具備泛化到這種簡潔指令上的能力，避免陷入Prompt Engineering。

（4）MLLM在該簡潔指令下的輸出應該是直觀的并且便于定量統計。MLLM開放式的回答給量化統計提出了很大挑戰。現有方法傾向于使用GPT或者人工打分，但可能面臨著不準確和主觀性的問題。

圖1. MME評測基準示例。每張圖片對應兩個問題，答案分別為Yes[Y]和No[N]。問題加上「Please answer yes or no」共同構成指令。

基于以上原因，一個新的MLLM評測基準MME被構建出來，它同時具備以上四個特點：

1. MME同時評測感知和認知能力。除了OCR外，感知能力還包括粗粒度和細粒度目標識別。前者識別物體的存在性、數量、位置和顏色。后者識別電影海報、名人、場景、地標和藝術品。認知能力包括常識推理、數值計算、文本翻譯和代碼推理。總的子任務數達到14種，如圖1所示。

2. MME中所有的指令-答案對都是人工構建的。對于少量使用到的公開數據集，僅使用其圖像而沒有依賴其原始標注。同時，研究人員也盡力通過人工拍攝和圖像生成的方式來采集數據。

3. MME的指令被設計得盡量簡潔以避免Prompt Engineering對模型輸出的影響。研究人員再次申明一個好的MLLM應該泛化到這種簡潔且使用頻繁的指令，這對所有模型都是公平的。圖1中顯示了每個子任務的指令。

4. 得益于指令設計「Please answer yes or no」，可以方便地根據模型輸出的「Yes」或「No」進行定量統計，這種方式可以同時保證準確性和客觀性。值得注意的是，研究人員也嘗試過設計選擇題的指令，但發現當前的MLLM還難以跟隨這類較為復雜的指令。

研究人員一共評測了12種先進的MLLM模型，包括BLIP-2 [5]、LLaVA [6]、MiniGPT-4 [7]、 mPLUG-Owl [2]、LLaMA-Adapter-v2 [8]、Otter [9]、Multimodal-GPT [10]、InstructBLIP [11]、 VisualGLM-6B [12], PandaGPT [13], ImageBind-LLM [14] 和 LaVIN [15]。

其中，統計指標有三種，包括Accuracy，Accuracy+和Score。其中對于每個任務，Accuracy是基于問題統計而來，Accuracy+是基于圖片統計而來（圖片對應的兩個問題都需要回答正確），Score是Accuracy和Accuracy+的和。

感知的總分為10種感知類子任務Score的總和，認知的總分是4種認知類任務Score的總和。具體詳見項目鏈接。

12種模型在14種子任務上的測試比較如圖2所示：

圖2. 12種模型在14種子任務上的比較。每種子任務的滿分為200分。

一共16個榜單，包括感知類和認知類的總榜單以及14個子任務的榜單也已發布。兩個總榜單分別如圖3和圖4所示，值得注意的是BLIP-2和InstructBLIP在這兩個榜單中都保持在前三。

圖片

圖3.感知類任務總榜單

圖4.認知類任務總榜單

圖5.所有榜單

另外研究人員也總結了MLLM模型在實驗中暴露的一些通用問題，如圖6所示，希望可以為后續的模型優化提供指導。

圖片

圖6. MLLM暴露的通用問題。[Y]/[N]表示真實的答案是Yes/No。[R]是MLLM生成的答案。

第一個問題是不跟隨指令。

盡管已經采用了非常簡潔的指令設計，但仍然有MLLM自由回答問題而不是跟隨指令。

如圖6中的第一行所示，指令已經申明「Please answer yes or no」，但MLLM僅給出了一個陳述性回答。如果在回答的開頭沒有出現「Yes」或者「No」，都判定該回答錯誤。一個好的MLLM，尤其是經過指令微調后，應該能夠泛化到這種簡單的指令上。

第二個問題是缺乏感知能力。

如圖6中的第二行所示，MLLM錯誤地識別了第一張圖片中香蕉的數量和第二張圖片中的數字，導致回答錯誤。研究人員也注意到感知的性能很容易受到指令變化的影響，因為同一張圖的兩個指令只相差一個單詞，但導致了完全不同的感知結果。

第三個問題是缺乏推理能力。

如圖6中的第三行所示，從紅色的文字可以看出MLLM已經知道了第一張圖片不是一個辦公場所，但仍然給出了一個錯誤的回答「Yes」。

相似地，在第二張圖片中，MLLM已經計算得到了正確的算數結果，但最終也給出了錯誤的答案。添加思維鏈Prompt，例如「Let’s think step by step」也許能帶來更好的效果。期待這方面有更深入的研究。

第四個問題跟隨指令的物體幻視。如圖6中的第四行所示，當指令中含有圖片中不存在的物體時，MLLM將會幻想該物體存在并最終給出一個「Yes」的回答。

這種總是回答「Yes」的方式導致了Accuracy接近于50%，Accuracy+接近于0。這表明抑制目標幻視的重要性，并且也需要進一步思考MLLM生成的答案的可靠性。