在數(shù)字化時代，視覺信息在知識傳遞和決策支持中的重要性日益凸顯。然而，傳統(tǒng)的檢索增強型生成（RAG）方法在處理視覺豐富信息時面臨著諸多挑戰(zhàn)。一方面，傳統(tǒng)的基于文本的方法無法處理視覺相關(guān)數(shù)據(jù)；另一方面，現(xiàn)有的視覺 RAG 方法受限于定義的固定流程，難以有效激活模型的推理能力。

來自阿里巴巴通義實驗室的最新研究成果——VRAG-RL（Empower Vision-Perception-Based RAG for Visually Rich Information Understanding via Iterative Reasoning with Reinforcement Learning），將強化學(xué)習(xí)算法引入多模態(tài)智能體訓(xùn)練，借助迭代推理和視覺感知空間，全方位提升視覺語言模型（VLMs）在檢索、推理和理解視覺信息方面的能力，為純視覺檢索增強生成任務(wù)提供有效解決方案，代碼、模型全面開源！

Paper地址：https://arxiv.org/pdf/2505.22019

Github地址：https://github.com/Alibaba-NLP/VRAG

為了解決現(xiàn)有RAG方法在處理視覺豐富文檔時面臨的挑戰(zhàn)，尤其是生成階段推理能力不足的問題，我們推出了VRAG-RL，該框架引入強化學(xué)習(xí)，專為視覺豐富信息復(fù)雜推理量身定制。VRAG-RL通過定義視覺感知動作空間，使模型能夠從粗到細地逐步聚焦信息密集區(qū)域，精準提取關(guān)鍵視覺信息，從而全方位提升視覺語言模型（VLMs）在檢索、推理和理解視覺信息方面的能力。

與此同時，我們注意到現(xiàn)有的方法在將用戶查詢轉(zhuǎn)化為搜索引擎可理解的檢索請求時，常常因無法精準表達需求而難以檢索到相關(guān)信息，往往存在語義偏差或信息缺失的問題。這不僅影響了檢索結(jié)果的相關(guān)性，還限制了模型在后續(xù)生成階段的推理能力。為了解決這一問題，VRAG-RL引入了一種創(chuàng)新的檢索機制，通過結(jié)合視覺感知動作和強化學(xué)習(xí)，使模型能夠更有效地與搜索引擎進行交互。這種機制不僅能夠幫助模型更精準地表達檢索需求，還能夠在檢索過程中動態(tài)調(diào)整檢索策略，從而顯著提升檢索效率和結(jié)果的相關(guān)性。

? 重定義感知行動空間，視覺仿生思考新范式

傳統(tǒng)RAG方法在處理視覺信息時，往往采用固定的檢索-生成流程，即先通過搜索引擎檢索相關(guān)信息，然后直接生成答案。這種固定流程忽略了視覺信息的獨特性，無法充分利用視覺數(shù)據(jù)中的豐富細節(jié)，導(dǎo)致推理能力受限。

相比之下，VRAG-RL徹底革新了傳統(tǒng)的檢索生成范式，引入了多樣化的視覺感知動作，其中包含了多種視覺感知動作，如區(qū)域選擇、裁剪、縮放等。這些動作使VLMs能夠從粗粒度到細粒度逐步聚焦信息密集區(qū)域，精準提取關(guān)鍵視覺信息。例如，在處理復(fù)雜的圖表或布局時，模型可以先從整體圖像中提取大致信息，然后逐步聚焦到信息密集的區(qū)域，通過裁剪和縮放操作，獲取更清晰、更詳細的視覺信息。這種從粗粒度到細粒度的感知方式，不僅提高了模型對視覺信息的理解能力，還顯著提升了檢索效率，使模型能夠更快速地定位到與問題相關(guān)的圖像內(nèi)容。

VRAG-RL采用了多專家采樣策略構(gòu)建訓(xùn)練數(shù)據(jù)，大規(guī)模模型負責(zé)確定整體的推理路徑，而專家模型則在大規(guī)模模型的指導(dǎo)下，對圖像中的關(guān)鍵區(qū)域進行精確標(biāo)注，結(jié)合大規(guī)模模型的推理能力和專家模型的精確標(biāo)注能力，模型能夠在訓(xùn)練過程中學(xué)習(xí)到更有效的視覺感知策略，顯著提升了模型在實際應(yīng)用中的表現(xiàn)。

?? 檢索與推理協(xié)同優(yōu)化，效率與深度雙重提升

VRAG-RL 的細粒度獎勵機制將檢索效率、模式一致性與生成質(zhì)量三方面因素融合，引導(dǎo)模型在與搜索引擎的交互中不斷優(yōu)化其檢索與推理路徑。

檢索效率獎勵 ：借鑒信息檢索領(lǐng)域廣泛使用的 NDCG（Normalized Discounted Cumulative Gain）指標(biāo)，激勵模型優(yōu)先檢索相關(guān)度高的圖像內(nèi)容，快速構(gòu)建高質(zhì)量上下文；

模式一致性獎勵 ：確保模型遵循預(yù)設(shè)的推理邏輯路徑，避免因模式偏差導(dǎo)致生成結(jié)果偏離任務(wù)目標(biāo)；

生成質(zhì)量獎勵 ：通過評估模型對生成答案的質(zhì)量打分，引導(dǎo)模型輸出更準確、連貫的答案。

這種多維度獎勵機制實現(xiàn)了檢索與推理的雙向驅(qū)動——高效的檢索為深入推理提供支撐，而推理反饋又進一步指導(dǎo)模型優(yōu)化檢索策略，形成閉環(huán)優(yōu)化。

?? 強化學(xué)習(xí)賦能多模態(tài)智能體訓(xùn)練

VRAG-RL 基于強化學(xué)習(xí)的訓(xùn)練策略，引入業(yè)界領(lǐng)先的 GRPO 算法，讓視覺語言模型（VLMs）在與搜索引擎的多輪交互中，持續(xù)優(yōu)化檢索與推理能力。

同時，通過本地部署搜索引擎模擬真實世界應(yīng)用場景，實現(xiàn)搜索引擎調(diào)用零成本，模型訓(xùn)練更加高效。這種訓(xùn)練方式，不僅提升了模型的泛化能力，使其在不同領(lǐng)域、不同類型的視覺任務(wù)中都能表現(xiàn)出色，為多模態(tài)智能體的訓(xùn)練提供全新的解決方案。

實驗分析

VRAG-RL 在多個視覺語言基準數(shù)據(jù)集上均取得了顯著優(yōu)于現(xiàn)有方法的性能表現(xiàn)，任務(wù)類型涵蓋從單跳到多跳推理、從純文本理解到圖表識別和復(fù)雜布局解析等多種視覺豐富場景。實驗結(jié)果表明，VRAG-RL 在處理視覺信息時展現(xiàn)出更強的檢索能力、推理深度以及生成質(zhì)量。

無論是在傳統(tǒng)的 prompt-based 方法（如 Vanilla RAG 和 ReAct RAG），還是在基于強化學(xué)習(xí)的方法（如 Search-R1）基礎(chǔ)上，VRAG-RL 都展現(xiàn)出了更出色的綜合性能。

在傳統(tǒng)的RAG方法中，模型通常在進行一次或多次檢索后直接生成答案。然而，在處理復(fù)雜的視覺任務(wù)時，這種方法往往表現(xiàn)不佳，因為它缺乏對視覺信息的深入理解和多輪推理能力。

相比之下，我們的VRAG-RL方法支持多輪交互。具體來說，通過定義視覺感知動作空間，VRAG-RL能夠在推理階段逐步聚焦于信息密集區(qū)域，從而實現(xiàn)從粗到細的信息獲取。同時，該方法通過優(yōu)化檢索效率和推理路徑，在保持高效率的同時，顯著提升了模型在視覺任務(wù)上的性能。

未來展望：開啟視覺感知驅(qū)動多模態(tài)推理的新時代

VRAG-RL為視覺豐富信息的檢索增強生成任務(wù)開辟了新的道路。未來，研究團隊計劃進一步拓展模型的能力，引入更多模仿人類處理復(fù)雜信息的動作，使模型能夠更深入地進行思考。同時，團隊還將致力于減少模型的幻覺現(xiàn)象，通過引入更先進的模型架構(gòu)和訓(xùn)練方法，進一步提高框架的準確性和可靠性，推動視覺語言模型在更多實際應(yīng)用場景中的落地與發(fā)展。

我們已將 VRAG-RL 的完整技術(shù)方案發(fā)布在 arXiv，并將全部源代碼開源至 GitHub。為了便于大家快速體驗與二次開發(fā)，我們在項目中提供了可一鍵運行的 Demo 示例，支持本地快速部署。你可以輕松使用自己的文檔構(gòu)建視覺 RAG 推理服務(wù)，探索多模態(tài)智能體在復(fù)雜圖像理解任務(wù)中的強大能力。

本文轉(zhuǎn)載自??AI-PaperDaily??，作者：AI-PaperDaily