新的最強開源多模態大模型來了！

阿里Qwen2大模型家族新添多模態模型Qwen2-VL，在圖像和長視頻理解任務上雙雙取得了SOTA。

在具體的子類任務中，Qwen2-VL在大部分的指標上都達到了最優，甚至超過 GPT-4o等閉源模型。

在多模態能力的加持下，Qwen2-VL可以實時讀取攝像頭或電腦屏幕，進行文字形式的視頻對話。

甚至還能作為Agent與環境進行交互，根據任務目標自主操控手機等設備。

此次發布的Qwen2共有2B、7B、72B三個版本，其中2B和7B版本已可下載并免費商用（Apache 2.0），72B則通過API提供。

目前開源代碼已集成到Hugging Face Transformers、vLLM等第三方框架中。

還有不少網友都在狂cue一些知名大模型推理平臺，如Groq、Ollama，希望能夠早日提供支持。

下面就來一睹Qwen2-VL的表現！

會操作機械臂的多模態大模型

利用強大的多模態能力，Qwen2-VL能夠操縱機械臂，進行物體的拿取、放置等操作。

還可以化身撲克牌玩家，根據識別到的場上信息和提示詞描述進行“24點”游戲的決策，并且取得了勝利。

還有開頭所展示的，Qwen2-VL可以根據識別到的屏幕內容，結合用戶需求自行操作手機在網絡上進行信息檢索。

當然在這些體現工具調用和Agent交互能力的復雜任務背后，基礎能力也是不能落下。

比如圖像識別，在物體類的識別當中，Qwen2-VL可以準確地認出花的品種。

另一類識別場景是文字，Qwen2-VL支持多種語言的文本提取。

甚至把16種語言混合到一張圖中，Qwen2-VL不僅能判斷各自的語種，也能一口氣提取出全部文本。

手寫字體和復雜的數學公式也能識別，并且上下標這種微小細節處理得非常到位。

Qwen2-VL還支持多模態推理，代碼和數學（包括幾何）類問題，只需要傳張圖片就能解決。

視頻方面，Qwen2-VL最長可以對20分鐘以上的視頻進行內容分析，既支持總結也能對細節進行提問。

不過目前還只能分析畫面，暫不支持對聲音的處理。

同時也支持實時視頻文字對話，除了開頭展示的基于攝像頭的對話外，也可以讀取電腦屏幕，作為對話的內容。

總之，在這些任務的背后，蘊含著Qwen2-VL不凡的綜合實力。

多模態實力超GPT-4o

為了了解Qwen2-VL在各種任務上的綜合表現，千問團隊一共從從六個方面對其視覺能力進行了評估。

具體包括了綜合類大學試題、數學試題、文檔表格理解、通用場景下的問答、視頻理解以及Agent能力這六種類型。

整體來看，Qwen2-72B的大部分的指標上都達到了最優，甚至超過了GPT-4o和Claude3.5-Sonnet，特別是在文檔理解方面優勢明顯。

另外在多語言測試中，MTVQA也在9種語言中的8種全面超越了GPT-4o、Claude3-Opus和Gemini Ultra這些先進閉源模型，平均成績也是最高分。

7B版本同樣支持圖像、多圖、視頻的輸入，同時也達到了同等規模模型的SOTA水準。

最小的2B版本則主要為移動端設計，但麻雀雖小，卻具備完整圖像視頻多語言的理解能力，特別在視頻文檔和通用場景問答相較同規模模型優勢明顯。

整體上，Qwen2-VL延續了其上一代Qwen-VL中ViT加Qwen（2）的串聯結構，在三個不同規模的模型上，Qwen2-VL都采用了600M規模大小的ViT，并且支持圖像和視頻統一輸入。

為了讓模型更清楚地感知視覺信息和理解視頻，Qwen2-VL新增了對原生動態分辨率的全面支持。

與上一代模型相比，Qwen2-VL能夠處理任意分辨率的圖像輸入，不同大小圖片被轉換為動態數量的tokens，最少只需要4個。

這種設計不僅確保了模型輸入與圖像原始信息之間的一致性，也模擬了人類視覺感知的自然方式，讓模型在圖像處理任務上更加靈活高效。

Qwen2-VL在架構上的另一項創新，是多模態旋轉位置嵌入（M-ROPE）。

傳統的旋轉位置嵌入只能捕捉一維序列的位置信息，而M-ROPE通過將原始旋轉嵌入分解為代表時間、高度和寬度的三個部分。

這使得大規模語言模型能夠同時捕捉和整合一維文本序列、二維視覺圖像以及三維視頻的位置信息。

這一創新有助于提升模型的多模態處理和推理能力，能夠更好地理解和建模復雜的多模態數據。

DEMO：https://huggingface.co/spaces/Qwen/Qwen2-VL

項目主頁：https://qwenlm.github.io/blog/qwen2-vl/
GitHub：https://github.com/QwenLM/Qwen2-VL