GPT-4o 四月發(fā)布會掀起了視頻理解的熱潮，而開源領軍者Qwen2也對視頻毫不手軟，在各個視頻評測基準上狠狠秀了一把肌肉。

但當前的大部分評測基準仍然具有以下幾個缺陷：

• 多注重于短視頻，視頻長度或視頻鏡頭數(shù)不足，難以考察到模型的長時序理解能力；
• 對模型的考察局限在部分較為簡單的任務，更多細粒度的能力未被大部分基準所涉及到；
• 現(xiàn)有的基準仍可以僅憑單幀圖像以獲取較高的分數(shù)，說明問題和畫面的時序性關聯(lián)不強；
• 對開放性問題的評估仍舊采用較舊的GPT-3.5，打分和人類偏好有較大的偏差且并不準確，容易高估模型性能。

針對這些問題，有沒有對應的基準能夠較好解決這些問題呢？

在最新的NeurIPS D&B 2024中由浙江大學聯(lián)合上海人工智能實驗室，上海交通大學和香港中文大學提出的MMBench-Video打造了一個全面的開放性視頻理解評測基準，并針對當前主流MLLM構建了開源的視頻理解能力評估榜單。

全能力鏈條覆蓋高質量數(shù)據(jù)集

MMBench-Video這一視頻理解評測基準采取全人工標注，歷經(jīng)一次標注和二次質量核驗，視頻種類豐富且質量高，問答涵蓋模型能力全面，準確回答問題需要橫跨時間維度對信息進行提取，更好的考察了模型的時序理解能力。

與其他數(shù)據(jù)集相比，MMBench-Video具有如下幾個突出特點：

視頻時長跨度較廣，鏡頭數(shù)多變：采集的視頻時長從30秒到6分鐘不等，避免了過短視頻語意信息簡單，過長視頻評測帶來的資源消耗大等問題。同時視頻涵蓋的鏡頭數(shù)整體呈長尾分布，一個視頻最多具有210個鏡頭，包含了豐富的場景與語境信息。

全方位能力大考，感知與推理的全面挑戰(zhàn)：模型的視頻理解能力主要包含感知和推理兩個部分，每個部分能力可以再額外進行細化。受MMBench啟發(fā)并結合視頻理解所涉及到的具體能力，研究者建立了一個包含26個細粒度能力的綜合能力譜系，每個細粒度能力都用數(shù)十到數(shù)百個問答對進行評估，且并不為現(xiàn)有任務的集合。

視頻種類豐富，問答語言多樣性強：覆蓋了人文、體育、科教、美食、金融等16個主要領域，每個領域視頻均占到5%以上。同時問答對相比傳統(tǒng)VideoQA數(shù)據(jù)集有了進一步的長度及語意豐富度提升，不局限于’what’’when’等簡單問題類型。

時序獨立性佳，標注質量高：在研究中發(fā)現(xiàn)，大部分VideoQA數(shù)據(jù)集能夠僅通過視頻內的1幀獲得充足的信息，從而進行準確的回答。這可能是因為視頻內前后畫面變化較小，視頻鏡頭少，也可能是因為問答對質量較低。研究者將這一情況稱之為數(shù)據(jù)集的時序獨立性較差。與他們相比，MMBench-Video由于在標注時給出了詳細的規(guī)則限制，且問答對經(jīng)過二次核驗，具有顯著較低的時序獨立性，能夠更好的考察模型的時序理解能力。

主流多模態(tài)大模型成績單

為了更加全面評估多個模型的視頻理解性能，MMBench-Video選取了11個代表性的視頻語言模型，6個開源圖文多模態(tài)大模型及GPT-4o等5個閉源模型進行全面的實驗分析。

在所有模型當中，GPT-4o在視頻理解方面表現(xiàn)突出，同時Gemini-Pro-v1.5也展現(xiàn)出了出眾的模型性能。

令人訝異的是，現(xiàn)有的開源圖文多模態(tài)大模型在MMBench-Video上表現(xiàn)整體優(yōu)于經(jīng)過視頻-問答對微調的視頻語言模型，最優(yōu)的圖文模型VILA1.5在整體性能上超出最優(yōu)的視頻模型LLaVA-NeXT-Video近40%。

經(jīng)過進一步探究發(fā)現(xiàn)，圖文模型之所以在視頻理解上表現(xiàn)更優(yōu)，可能歸因于它們在處理靜態(tài)視覺信息時的精細化處理能力更強，而視頻語言模型在面向靜態(tài)圖像的感知及推理性能均有不足，進而面對更復雜的時序推理和動態(tài)場景時顯得力不從心。

這種差異揭示了現(xiàn)有視頻模型在空間和時間理解上的顯著不足，尤其是在處理長視頻內容時，其時序推理能力亟待提升。此外，圖文模型通過多幀輸入在推理上的性能提升表明，它們有潛力進一步拓展至視頻理解領域，而視頻模型則需要在更廣泛的任務上加強學習，以彌補這一差距。

視頻長度和鏡頭數(shù)量被認為是影響模型性能的關鍵因素。

實驗結果表明，隨著視頻長度的增加，GPT-4o在多幀輸入下的表現(xiàn)有所下降，而開源模型如InternVL-Chat-v1.5和Video-LLaVA的表現(xiàn)相對穩(wěn)定。相比視頻長度，鏡頭數(shù)量對模型性能的影響更為顯著。

當視頻鏡頭超過50個時，GPT-4o的性能下降至原始得分的75%。這表明，頻繁的鏡頭切換使得模型更難以理解視頻內容，導致其表現(xiàn)下降。

除此之外，MMBench-Video還借助接口獲取到了視頻的字幕信息，從而通過文字引入了音頻模態(tài)。

在引入后，模型在視頻理解上的表現(xiàn)得到了顯著提升，當音頻信號與視覺信號結合時，模型能夠更加準確地回答復雜問題。這一實驗結果表明，字幕信息的加入能極大豐富模型的上下文理解能力，尤其是在長視頻任務中，語音模態(tài)的信息密度為模型提供了更多線索，幫助其生成更精確的回答。然而，需要注意的是，雖然語音信息可以提升模型性能，但同時也可能增加生成幻覺內容的風險。

在裁判模型選擇方面，實驗顯示GPT-4具備更為公正和穩(wěn)定的評分能力，其抗操縱性強，評分不偏向于自己的回答，能夠更好地與人工評判對齊。

相比之下，GPT-3.5在評分時容易出現(xiàn)偏高的問題，導致最終結果的失真。與此同時，開源的大語言模型，如Qwen2-72B-Instruct，也展現(xiàn)了出色的評分潛力，其在與人工評判的對齊度上表現(xiàn)突出，證明其有望成為一種高效的評估模型工具。

使用VLMEvalKit一鍵評測

MMBench-Video目前支持在VLMEvalKit中一鍵評測。

VLMEvalKit是一個專為大型視覺語言模型評測設計的開源工具包。它支持在各種基準測試上對大型視覺語言模型進行一鍵評估，無需進行繁重的數(shù)據(jù)準備工作，使評估過程更加簡便。VLMEvalKit適用于圖文多模態(tài)模型及視頻多模態(tài)模型的評測，支持單對圖文輸入、圖文交錯輸入及視頻-文本輸入。它實現(xiàn)70多個基準測試，覆蓋了多種任務，包括但不限于圖像描述、視覺問答、圖像字幕生成等。所支持的模型及評測基準正在不斷更新中。

同時基于現(xiàn)有視頻多模態(tài)模型的評測結果較為分散，難以復現(xiàn)等現(xiàn)實，團隊還建立了OpenVLM Video Leaderboard這一針對模型的綜合視頻理解能力評測榜單。OpenCompass VLMEvalKit團隊將持續(xù)更新最新多模態(tài)大模型及評測benchmark，打造主流，開放，便捷的多模態(tài)開源評測體系。

最后總結一下，MMBench-Video是一個針對視頻理解任務設計的全新長視頻、多鏡頭基準，涵蓋了廣泛的視頻內容和細粒度能力評估。

基準測試包含從YouTube收集的600多個長視頻，涵蓋新聞、體育等16個主要類別，旨在評估MLLMs的時空推理能力。與傳統(tǒng)的視頻問答基準不同，MMBench-Video通過引入長視頻和高質量的人工標注問答對，彌補了現(xiàn)有基準在時序理解和復雜任務處理方面的不足。

通過GPT-4評估模型的答案，該基準展現(xiàn)了更高的評估精度和一致性，為視頻理解領域的模型改進提供了有力的工具。

MMBench-Video 的推出為研究人員和開發(fā)者提供了一個強大的評估工具，幫助開源社區(qū)深入理解和優(yōu)化視頻語言模型的能力。

論文鏈接：https://arxiv.org/abs/2406.14515
Github鏈接：https://github.com/open-compass/VLMEvalKit
HomePage：https://mmbench-video.github.io/
MMBench-Video LeaderBoard：https://huggingface.co/spaces/opencompass/openvlm_video_leaderboard