Ovis2.5：多模態大模型的進化之路原創

發布于 2025-8-29 07:29

瀏覽

0收藏

Ovis2.5：多模態大模型的進化之路-AI.x社區

隨著人工智能技術的飛速發展，多模態大語言模型（MLLMs）已成為AI領域的重要研究方向。這類模型能夠同時處理文本、圖像、視頻等多種模態的信息，為實現通用人工智能奠定了重要基礎。近日，阿里巴巴集團的Ovis團隊發布了最新的Ovis2.5技術報告，展示了在多模態理解和推理方面的顯著進步。本文將深入解析Ovis2.5的技術創新、架構設計以及性能表現，探討其在多模態AI領域的重要意義。

1.Ovis發展之路

Ovis系列模型的發展體現了多模態AI技術的演進軌跡。在之前的工作中，Ovis團隊識別出傳統多模態架構中的一個關鍵問題：視覺嵌入（來自MLP投影器的連續結構）與文本嵌入（離散結構）之間存在結構性不匹配。為此，他們提出了Ovis架構，通過可學習的視覺嵌入表（Visual Embedding Table）來結構化地對齊文本和視覺嵌入，并通過實驗驗證了其相對于傳統設計的優越性。

Ovis2.5：多模態大模型的進化之路-AI.x社區

從Ovis 1.5到Ovis2.0的迭代過程中，模型逐步增強了處理高分辨率圖像、多圖像和視頻輸入、OCR任務、多語言場景以及數學推理等復雜問題的能力。每個版本在發布時都在同等規模的開源模型中展現出領先性能。然而之前的模型在需要深度推理或詳細分析視覺密集內容（如復雜圖表）的任務上仍存在不足。

2.Ovis2.5的核心創新

傳統的多模態模型通常采用固定分辨率的視覺變換器（ViT），需要將圖像分割成固定大小的子圖像進行處理，這種方法會破壞全局結構和精細細節。Ovis2.5引入了原生分辨率視覺變換器（NaViT），能夠直接處理各種原生分辨率的圖像，避免了有損的圖像分塊，保留了對圖表、圖形等視覺密集內容至關重要的精細細節和全局布局信息。

NaViT的實現整合了旋轉位置嵌入（RoPE），在每個ViT塊中強化空間感知能力，這對高分辨率圖像（如復雜圖表）的處理特別有效。該技術從siglip2-so400m-patch16-512的權重初始化，確保了模型的穩定性和效果

Ovis2.5的另一項重要創新是引入了"思考模式"（thinking mode），這是通過在包含反思過程（如自我檢查和修訂）的深度推理數據上進行訓練實現的。與傳統的線性思維鏈（CoT）不同，這種訓練方法教會模型產生中間步驟來評估自己的推理過程，并在必要時完善結論，從而實現更深入、更穩健的推理。

這種深度推理能力在推理時作為可選功能提供，用戶可以根據需要選擇關閉該模式以提高效率，或在處理復雜問題時啟用它以犧牲延遲換取更高的準確性。

Ovis2.5將語言模型骨架從Qwen2.5升級到Qwen3，充分利用了Qwen3在深度推理方面的優越能力，顯著提升了模型在復雜任務上的性能和整體多模態能力。

Ovis2.5保留了Ovis架構的基礎設計，由三個核心模塊組成：視覺分詞器（VT）基于Transformer的組件，從圖像片段中提取特征。視覺頭將每個片段的特征投影到"視覺詞"的離散詞匯表上，產生該詞匯表上的概率分布。視覺嵌入表（VET）類似于LLM中的文本嵌入表，VET為每個視覺詞存儲專用嵌入，這種設計緩解了模態間的結構性不匹配。最終的視覺嵌入通過對表中嵌入進行VT產生的概率加權求和計算得出。