隨著人工智能技術的不斷發展，多模態模型逐漸成為研究熱點。小紅書團隊推出的DeepEyesV2，作為一款具有智能體特性的多模態模型，不僅繼承了前代在視覺推理上的優勢，還通過多工具協同實現了從“看圖思考”到“解決問題”的跨越。

一、項目概述

DeepEyesV2是一個由小紅書團隊開發的多模態智能體模型，旨在通過整合代碼執行、網頁搜索和圖像操作等多種工具，實現對復雜問題的主動解決。該模型通過兩階段訓練法，即冷啟動階段和強化學習階段，使模型能夠動態選擇、組合和使用工具，從而在真實世界理解、數學推理和搜索密集型任務中表現出色。

二、核心功能

（一）多模態理解

DeepEyesV2能夠同時處理文本和圖像信息，具備強大的多模態理解能力。它不僅能理解圖像中的視覺內容，還能結合文本語義進行綜合分析，從而準確把握復雜的圖文場景。這種能力使其在處理包含圖文信息的復雜任務時表現出色，例如在圖像問答和內容創作等場景中，能夠精準地提取和利用圖文信息。

（二）主動工具調用

DeepEyesV2具備主動調用外部工具的能力，如代碼執行環境和網絡搜索。當遇到需要額外信息或復雜操作的任務時，模型能夠主動調用這些工具獲取支持。例如，在解決需要實時數據的任務時，它可以通過網絡搜索獲取最新信息；在需要進行復雜計算時，它能夠調用代碼執行環境完成任務。

（三）動態推理與決策

DeepEyesV2將工具調用的結果融入推理過程，通過迭代的方式逐步解決問題。它能夠根據工具返回的信息動態調整推理路徑，逐步完善解決方案。這種動態推理能力使其在處理復雜的多步驟任務時表現出色，能夠靈活應對各種變化和不確定性，最終得出準確的結論。

（四）任務自適應

DeepEyesV2能夠根據不同任務類型智能選擇合適的工具。例如，在感知任務中，它更傾向于使用圖像操作工具；在推理任務中，則會優先選擇數值計算工具。這種任務自適應能力使其在不同場景下都能高效運行，提升任務處理的效率和準確性。

（五）復雜任務解決

DeepEyesV2通過工具的組合和迭代推理，能夠解決需要多種能力協同的復雜任務。它不僅能夠單獨處理感知、推理或搜索任務，還能將這些能力有機結合，完成復雜的多模態任務。例如，在需要結合圖像識別、網絡搜索和邏輯推理的綜合任務中，DeepEyesV2能夠通過工具協同高效地解決問題。

三、技術揭秘

（一）兩階段訓練流程

1. 冷啟動階段（Cold Start）

• 數據設計：研究團隊精心設計了海量的樣本數據，這些數據覆蓋了感知型、推理型以及長思維鏈任務。每個樣本都包含了詳細的工具使用步驟，幫助模型構建對工具運用的基礎認知。
• 監督微調：使用這些樣本數據對模型進行微調，使模型能夠初步理解何時以及如何調用工具。這一階段的目標是讓模型在有監督的環境下學習工具調用的基本規則。

2. 強化學習階段（Reinforcement Learning）

• 策略精煉：通過強化學習，模型能夠根據環境反饋動態調整工具調用策略，減少冗余調用，提升效率。
• 終極目標：在復雜場景中激發模型的創造力，使其能夠靈活組合工具，增強適應性。這一階段的目標是讓模型在無監督的環境下自主優化工具調用策略，提升其在真實世界中的應用能力。

（二）工具調用與推理結合

• 主動調用工具：模型能夠主動調用代碼執行、網頁搜索等外部工具，并將這些工具返回的結果融入推理過程。這種能力使得模型在處理復雜任務時能夠借助外部資源，提升解決問題的效率和準確性。
• 跨能力協同：通過感知、搜索和推理的跨能力協同，DeepEyesV2 實現了多模態智能體的全面升級。這種協同機制不僅提升了模型的性能，還使其能夠更好地適應多樣化的任務場景。

四、應用場景

（一）智能問答與信息檢索

DeepEyesV2能夠處理用戶上傳的圖片并結合網絡搜索提供精準答案。例如，用戶上傳一張植物圖片并詢問其名稱，模型通過圖像識別確定植物特征，再通過網絡搜索獲取準確名稱并返回結果。這種能力使其在智能問答系統中表現出色，能夠快速準確地回答涉及圖文信息的問題。

（二）教育與學習輔助

在教育領域，DeepEyesV2可以輔助學生進行作業輔導和知識探索。例如，學生上傳一張數學題目圖片，模型通過圖像識別提取題目內容，結合推理能力給出解題步驟。它還能通過搜索提供相關知識點，幫助學生更好地理解和學習。

（三）內容創作與編輯

DeepEyesV2能夠分析圖片內容并提供圖像編輯建議和相關文案生成。例如，用戶上傳一張產品圖片，模型可以識別圖片中的關鍵元素，生成優化建議，如調整亮度、對比度等。同時，它還能根據圖片內容生成相關的文案描述，幫助用戶快速完成內容創作。

（四）智能客服與技術支持

DeepEyesV2可以作為智能客服系統的核心，通過圖像識別和網絡搜索為用戶提供故障診斷和咨詢解答。例如，用戶上傳一張設備故障圖片，模型識別故障特征并通過搜索獲取解決方案，然后以清晰的步驟指導用戶解決問題。這種能力顯著提升了客服效率和用戶體驗。

（五）醫療健康

在醫療健康領域，DeepEyesV2能夠輔助醫生分析醫學影像并結合網絡搜索提供健康咨詢和初步診斷。例如，醫生上傳一張X光片，模型通過圖像識別分析影像特征，再通過搜索獲取最新的醫學研究和診斷建議，幫助醫生快速做出判斷。這種能力在醫療影像分析和遠程醫療咨詢中具有重要應用價值。

五、結語

DeepEyesV2的出現標志著多模態智能體模型在工具協同和動態推理方面取得了重要進展。通過冷啟動和強化學習相結合的訓練方法，DeepEyesV2能夠實現多模態信息的高效整合和復雜任務的主動解決。其在真實世界理解、數學推理和搜索密集型任務中的出色表現，為多模態智能體模型的發展提供了新的思路和方向。

項目地址

項目官網：??https://visual-agent.github.io/??

GitHub倉庫：??https://github.com/Visual-Agent/DeepEyesV2??

arXiv技術論文：???https://arxiv.org/pdf/2511.05271??

本文轉載自??小兵的AI視界??，作者：AGI小兵