在金融科技智能化轉(zhuǎn)型進程中，大語言模型以及多模態(tài)大模型（LVLM）正成為核心技術(shù)驅(qū)動力。盡管 LVLM 展現(xiàn)出卓越的跨模態(tài)認知能力，其部署卻長期受限于顯著的算力瓶頸 —— 大小中等的模型一次多圖推理可能需要 100 G 的顯存空間，嚴重制約產(chǎn)業(yè)落地。

針對這一技術(shù)痛點，哈工大團隊聯(lián)合度小滿金融科技正式發(fā)布 EFFIVLM-BENCH，業(yè)界首個支持跨場景統(tǒng)一評估的多模態(tài)大模型高效化基準框架，為學術(shù)界提供可復現(xiàn)的壓縮方案對比基準，同時賦能工業(yè)界實現(xiàn)最優(yōu)部署策略遴選。該項目框架已在 GitHub 全面開源, 對應論文《EFFIVLM-BENCH: A Comprehensive Benchmark for Evaluating Training-Free Acceleration in Large Visual-Language Models》被 ACL（CCF-A）錄用為主會論文。

• 論文地址：https://arxiv.org/pdf/2506.00479
• 項目地址：https://effivlm-bench.github.io/

EFFIVLM-BENCH：

為LVLM高效化方案提供全面、系統(tǒng)的“體檢報告”

在 LVLM 的研究和應用中，不同的方法常常應用于不同的模型上，另一方面，即使最新的研究為能夠公平比較仍應用于較為古早的模型上。如何在最先進的模型上公平有效地評估和比較各種加速方法的性能，一直是一個亟待解決的問題。EFFIVLM-BENCH 的出現(xiàn)，正是為了填補這一空白。該平臺的核心價值在于其先進性、全面性和系統(tǒng)性。

EFFIVLM-BENCH 提供了一個統(tǒng)一的評估框架，對主流的加速技術(shù)進行細致的性能剖析，包括 kv cache 壓縮、token 壓縮和參數(shù)壓縮（如剪枝、量化），共計近 20 種模型高效化方法。在評測上，它不僅關(guān)注模型在特定任務上的絕對性能，更創(chuàng)新性地引入了泛化能力、忠誠度（即壓縮后模型與原始模型行為的一致性）以及實際推理效率（如真實推理時間）等多維度評估指標。這意味著，EFFIVLM-BENCH 能夠為不同的加速方法出具一份詳盡的 “體檢報告”，揭示其在不同場景下的優(yōu)勢與不足。

EFFIVLM-BENCH 的評估范圍廣泛，涵蓋了多種前沿的 LVLM 架構(gòu)（如 LLaVA-OneVision, Qwen2-VL, InternVL2.5）、模型高效化方法以及近 20 個不同類型的多模態(tài)基準任務，從文檔圖像理解、圖表問答到長文本視頻理解等，力求模擬真實應用場景的復雜性。通過對這些場景的深入分析，EFFIVLM-BENCH 旨在幫助研究者和開發(fā)者找到性能與效率之間的最佳平衡點，即所謂的 “帕累托最優(yōu)” 解。

圖 2 不同模型在多個 Benchmarks 上的輸入輸出長度

EFFIVLM-BENCH 的深度洞察：加速 LVLM 并非 “一刀切”

通過 EFFIVLM-BENCH 的廣泛實驗與深度分析，哈工大團隊聯(lián)合度小滿獲得了一系列關(guān)于 LVLM 加速的重要發(fā)現(xiàn)。研究表明，LVLM 的加速并非簡單的 “一刀切” 方案，其效果與具體應用場景和所采用的技術(shù)策略緊密相關(guān)。例如，任務依賴性顯著，token 壓縮方法在處理不同類型的任務時表現(xiàn)各異，尤其對于需要精細視覺信息或生成長序列輸出的任務，其性能可能會受到較大影響。在保持模型泛化能力和忠誠度方面，KV 緩存壓縮技術(shù)通常展現(xiàn)出更佳的優(yōu)勢。

同時，效率權(quán)衡也是一門藝術(shù)，不同的加速策略在 “首 token 生成時間”（TTFT）和后續(xù)解碼速度上各有側(cè)重，開發(fā)者需要根據(jù)實際應用需求進行選擇，例如 token 壓縮可能更適合需要快速響應的短文本任務。此外，參數(shù)壓縮的穩(wěn)健性也值得關(guān)注，像量化這樣的技術(shù)在保持模型原始性能方面往往更為可靠。更進一步，該研究還深入探討了層自適應稀疏性、注意力匯聚點（Attention Sink）在 LVLM 中的關(guān)鍵作用，以及模態(tài)特定的信息合并策略等前沿機制，這些探索為未來的 LVLM 優(yōu)化指明了新的方向。這些發(fā)現(xiàn)共同揭示了 LVLM 加速的復雜性和多面性，強調(diào)了針對性優(yōu)化和綜合評估的重要性。

圖 3 針對 Token 壓縮方法在效率與性能之間的權(quán)衡關(guān)系

開源共建，推動 LVLM 技術(shù)發(fā)展

EFFIVLM-BENCH 的推出，標志著 LVLM 效率評估領(lǐng)域的一個重要進展。哈工大團隊與度小滿表示，EFFIVLM-BENCH 將秉承開放共享的原則，其完整的代碼和評估方案已在 GitHub 上開源，希望能為研究者和開發(fā)者提供一個強大而易用的評估工具。

通過 EFFIVLM-BENCH，團隊期望能夠激發(fā)更多關(guān)于 LVLM 加速技術(shù)的創(chuàng)新研究，推動相關(guān)技術(shù)的快速迭代和優(yōu)化，最終使得強大的大型視覺語言模型能夠以更低的成本、更高的效率服務于更廣泛的應用場景。

隨著人工智能技術(shù)的不斷深化，LVLM 等先進技術(shù)必將在各行各業(yè)發(fā)揮越來越重要的作用。此次哈工大團隊聯(lián)合度小滿推出 EFFIVLM-BENCH，是雙方在大模型領(lǐng)域合作的又一重要成果。未來，雙方將繼續(xù)深化合作，探索更多前沿技術(shù)，為推動人工智能技術(shù)的發(fā)展和應用貢獻力量。