今天給大家重磅推薦一個(gè)突破性的視覺(jué)強(qiáng)化微調(diào)開(kāi)源項(xiàng)目 —— Visual-RFT (Visual Reinforcement Fine-Tuning)。

論文地址:  https://arxiv.org/abs/2503.01785

代碼地址: https://github.com/Liuziyu77/Visual-RFT

視覺(jué)強(qiáng)化微調(diào) Visual-RFT 將 DeepSeek-R1 背后的基于規(guī)則獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)方法和 OpenAI 的強(qiáng)化微調(diào)（Reinforcement Fine-Tuning，RFT）范式成功從純文本大語(yǔ)言模型拓展到了視覺(jué)語(yǔ)言大模型（LVLM）。通過(guò)針對(duì)視覺(jué)的細(xì)分類(lèi)、目標(biāo)檢測(cè)等任務(wù)設(shè)計(jì)對(duì)應(yīng)的規(guī)則獎(jiǎng)勵(lì)，Visual-RFT 打破了 DeepSeek-R1 方法局限于文本、數(shù)學(xué)推理、代碼等少數(shù)領(lǐng)域的認(rèn)知，為視覺(jué)語(yǔ)言模型的訓(xùn)練開(kāi)辟了全新路徑！

圖 1 用一張包含許多寶可夢(mèng)的圖片展示了這一過(guò)程，當(dāng)通過(guò)多模態(tài)強(qiáng)化微調(diào) Visual-RFT 訓(xùn)練的模型被提問(wèn)什么寶可夢(mèng)可以釋放技能十萬(wàn)伏特時(shí)，模型通過(guò) < think > 推理過(guò)程準(zhǔn)確找出皮卡丘對(duì)應(yīng)的坐標(biāo)框，展示出模型的泛化能力。

圖 1. Visual-RFT 首次實(shí)現(xiàn)將強(qiáng)化微調(diào)能力遷移到多模態(tài)模型中，只需 10～1000 條數(shù)據(jù)就能通過(guò)思考過(guò)程和基于規(guī)則的監(jiān)督提升多模態(tài)大模型的性能

從 R1 到 Visual-RFT：強(qiáng)化學(xué)習(xí)的多模態(tài)突破

OpenAI o1 主打的強(qiáng)化微調(diào)能力（Reinforcement Fine-Tuning）能只用少量樣本就將 o1 遷移到新的任務(wù)上。最近 DeepSeek-R1 解釋了 o1 模型背后的強(qiáng)推理能力來(lái)自基于可驗(yàn)證獎(jiǎng)勵(lì)（Verified Rewards）/ 規(guī)則獎(jiǎng)勵(lì)（Rule-based Verifier）的強(qiáng)化學(xué)習(xí)策略。不過(guò)，目前主流的認(rèn)知在于這種基于規(guī)則獎(jiǎng)勵(lì)的方法只適用于數(shù)學(xué)推理、代碼等少數(shù)便于驗(yàn)證的任務(wù)。我們?cè)?Visual-RFT 中，將這一策略遷移到了視覺(jué)語(yǔ)言模型。通過(guò)對(duì)細(xì)分類(lèi)、目標(biāo)檢測(cè)等任務(wù)建立對(duì)應(yīng)的可驗(yàn)證規(guī)則獎(jiǎng)勵(lì)，我們解決了傳統(tǒng)方法在視覺(jué)領(lǐng)域中的局限性，只需少量微調(diào)樣本就實(shí)現(xiàn)了更高效、泛化性更強(qiáng)的視覺(jué)理解與推理能力。

傳統(tǒng)的視覺(jué)指令微調(diào)（Visual Instruction Tuning/Supervised Fine-Tuning，SFT）需要海量數(shù)據(jù)對(duì)模型微調(diào)，在數(shù)據(jù)量有限（例如某些難以收集數(shù)據(jù)的特定學(xué)科場(chǎng)景）的情況下帶來(lái)的提升有限。我們提出的視覺(jué)強(qiáng)化微調(diào)（Visual Reinforcement Fine-Tuning）具有少樣本學(xué)習(xí)能力和更強(qiáng)的泛化性，在數(shù)據(jù)量有限的場(chǎng)景下相比指令微調(diào)具有很大的優(yōu)勢(shì)。

為驗(yàn)證 Visual-RFT（視覺(jué)強(qiáng)化微調(diào)）的泛化能力和普適性，力求對(duì)視覺(jué)領(lǐng)域的全面覆蓋，我們?cè)诙鄠€(gè)視覺(jué)感知任務(wù)上對(duì) Visual-RFT 進(jìn)行驗(yàn)證，包含 Detection，Classification，Grounding 等。其中，Visual-RFT 在 open vocabulary，few-shot learning 等設(shè)定下，僅僅通過(guò)非常少量的數(shù)據(jù)就取得了顯著的性能提升，輕松實(shí)現(xiàn)能力的遷移，且結(jié)果明顯優(yōu)于 SFT 的微調(diào)方法。在 reasoning grounding (推理定位) 的測(cè)試中，Visual-RFT 展現(xiàn)出強(qiáng)大的視覺(jué)推理能力。評(píng)測(cè)結(jié)果如圖二所示，詳細(xì)實(shí)驗(yàn)信息歡迎參見(jiàn)論文。

圖 2. Visual-RFT（視覺(jué)強(qiáng)化微調(diào)）在各種任務(wù)上顯著超越 SFT：包括目標(biāo)檢測(cè)（OD），開(kāi)放目標(biāo)檢測(cè)（OVD），少樣本檢測(cè)與分類(lèi)（FSOD/IC）， 推理定位（Reasoning Grounding）

圖 3. 框架圖：Visual-RFT（視覺(jué)強(qiáng)化微調(diào)）通過(guò) IoU 和 cls 獎(jiǎng)勵(lì)和強(qiáng)化學(xué)習(xí)策略（例如 GRPO）更新模型參數(shù)

為了在視覺(jué)多模態(tài)領(lǐng)域驗(yàn)證可驗(yàn)證獎(jiǎng)勵(lì)的作用，我們提出了使用基于 IoU 的 verified reward 獎(jiǎng)勵(lì)應(yīng)用于 detection 和 grounding 等任務(wù)，使用基于分類(lèi)正確判斷的 cls reward 用于 classification 任務(wù)（如圖三所示）。

圖 4. 部分推理定位結(jié)果展示，通過(guò)引入思考過(guò)程和強(qiáng)化學(xué)習(xí)策略 Visual-RFT（多模態(tài)強(qiáng)化微調(diào)）顯著超越 SFT，更加準(zhǔn)確地定位物體。

圖 5. 部分推理細(xì)粒度分類(lèi)結(jié)果展示，通過(guò)引入思考過(guò)程和強(qiáng)化學(xué)習(xí)策略，（多模態(tài)強(qiáng)化微調(diào)）Visual-RFT 顯著超越 SFT，更加準(zhǔn)確地定位物體。

部分模型輸出結(jié)果展示如圖 4 和圖 5 所示，相比于傳統(tǒng)的視覺(jué)指令微調(diào)（Visual Instruction/Supervised Fine-Tuning），Visual-RFT（視覺(jué)強(qiáng)化微調(diào)）通過(guò)強(qiáng)化學(xué)習(xí)方法，對(duì)問(wèn)題進(jìn)行深入的 think 分析取得更佳推理性能，相較于傳統(tǒng)的指令微調(diào)（SFT）方法取得顯著提升。如詢(xún)問(wèn)模型圖中的運(yùn)動(dòng)員在水下依然保持清晰的視野需要帶什么物體時(shí)，通過(guò)傳統(tǒng)指令微調(diào)的方法模型直接將整個(gè)運(yùn)動(dòng)員框出。而 Visual-RFT 通過(guò)引入推理過(guò)程準(zhǔn)確地指出防水眼鏡及其所在的位置并準(zhǔn)確框出。

Visual-RFT 實(shí)驗(yàn)結(jié)果

Visual-RFT（視覺(jué)強(qiáng)化微調(diào)）在各大圖文感知任務(wù)中均展現(xiàn)出強(qiáng)大的性能。我們的實(shí)驗(yàn)主要基于視覺(jué)語(yǔ)言大模型基座 QWen2-VL 2B/7B 模型，和傳統(tǒng)的監(jiān)督微調(diào)（Supervised Fine-Tuning）方法進(jìn)行對(duì)比。在開(kāi)放目標(biāo)檢測(cè)，少樣本檢測(cè)，細(xì)粒度分類(lèi)和推理定位任務(wù)上 Visual-RFT 相比 SFT 全面實(shí)現(xiàn)了性能提升。值得一提的是，我們的測(cè)試數(shù)據(jù)既包含 COCO、LVIS 等通用場(chǎng)景，又包含從互聯(lián)網(wǎng)中收集的卡通人物等開(kāi)放場(chǎng)景數(shù)據(jù)。只需要幾十條數(shù)據(jù)，模型通過(guò) Visual-RFT 可以學(xué)會(huì)檢測(cè)某動(dòng)漫中的史萊姆形象。實(shí)驗(yàn)結(jié)果廣泛驗(yàn)證了 Visual-RFT 的卓越性能和魯棒性。

圖 5. 部分實(shí)驗(yàn)結(jié)果展示，Visual-RFT 顯著超越 SFT，建立了新的模型微調(diào)范式

Visual-RFT 已經(jīng)開(kāi)源！歡迎加入！

我們堅(jiān)信開(kāi)源的力量，Visual-RFT 項(xiàng)目已全面開(kāi)源（包含訓(xùn)練、評(píng)測(cè)代碼，數(shù)據(jù)）。如果你對(duì)多模態(tài)模型、強(qiáng)化學(xué)習(xí)、視覺(jué)語(yǔ)言理解感興趣，不妨一起來(lái)探索更多可能性吧！

項(xiàng)目地址：https://github.com/Liuziyu77/Visual-RFT