The Landscape of Agentic Reinforcement Learning for LLMs: A Survey

2025-09-02｜Oxford U, Shanghai AI Lab, NUS, UCL, UIUC, Brown, USTC, Imperial College London, Bristol, CAS, CUHK, Fudan U, UGA, UCSD, DLUT, UCSB|??81

??http://arxiv.org/abs/2509.02547v1???
???https://huggingface.co/papers/2509.02547???
???https://github.com/xhyumiracle/Awesome-AgenticLLM-RL-Papers??

研究背景與意義

本論文聚焦于“Agentic Reinforcement Learning（Agentic RL）”這一新興范式，標(biāo)志著大規(guī)模語言模型（LLMs）與強(qiáng)化學(xué)習(xí)（RL）結(jié)合的根本性轉(zhuǎn)變。傳統(tǒng)的LLM-RL多將語言模型視為被動的序列生成器，優(yōu)化單步輸出以符合人類偏好或基準(zhǔn)測試，而Agentic RL則將LLMs重新定義為嵌入復(fù)雜動態(tài)環(huán)境中的自主決策智能體。該轉(zhuǎn)變不僅擴(kuò)展了模型的功能邊界，也使其具備規(guī)劃、推理、工具調(diào)用、記憶維護(hù)和自我改進(jìn)等多維度智能能力。論文通過對比傳統(tǒng)單步馬爾可夫決策過程（MDP）與部分可觀測、時(shí)間擴(kuò)展的POMDP，系統(tǒng)闡釋了Agentic RL的理論基礎(chǔ)和實(shí)踐意義，填補(bǔ)了現(xiàn)有研究中對統(tǒng)一框架和跨領(lǐng)域通用性的缺失，推動了智能體范式的科學(xué)理解和工程實(shí)現(xiàn)。

研究方法與創(chuàng)新

論文提出了一套系統(tǒng)的雙重分類體系：一方面圍繞Agentic RL的核心能力模塊（規(guī)劃、工具使用、記憶、推理、自我提升、感知等）進(jìn)行能力視角的深刻解析；另一方面從任務(wù)應(yīng)用層面（搜索、代碼生成、數(shù)學(xué)推理、圖形界面操作、視覺和多智能體系統(tǒng)等）全面梳理了Agentic RL的多樣化實(shí)踐。創(chuàng)新點(diǎn)主要體現(xiàn)在：

• 理論形式化：通過將Agentic RL建模為POMDP，明確了其與傳統(tǒng)LLM-RL的本質(zhì)區(qū)別，支持多步交互和部分觀察的動態(tài)環(huán)境適應(yīng)。
• 能力模塊聯(lián)合優(yōu)化：將傳統(tǒng)靜態(tài)模塊轉(zhuǎn)化為可通過RL聯(lián)合優(yōu)化的策略體系，實(shí)現(xiàn)了規(guī)劃、工具調(diào)用與推理等能力的協(xié)同進(jìn)化，突破了以往單一模塊優(yōu)化的局限。
• 多樣化RL算法對比與改進(jìn)：系統(tǒng)比較了REINFORCE、PPO、DPO、GRPO等多類RL算法及其變種，強(qiáng)調(diào)了GRPO在樣本效率和計(jì)算開銷上的優(yōu)勢，推動了Agentic RL訓(xùn)練的穩(wěn)定性和性能提升。
• 環(huán)境與框架整合：整合了豐富的開源環(huán)境、基準(zhǔn)測試和RL框架，構(gòu)建了支持Agentic RL訓(xùn)練和評估的實(shí)用工具包，促進(jìn)了研究的標(biāo)準(zhǔn)化和可復(fù)現(xiàn)性。

這一系統(tǒng)化方法不僅深化了Agentic RL的理論基礎(chǔ)，還為實(shí)際應(yīng)用提供了堅(jiān)實(shí)的技術(shù)支撐和方法論指導(dǎo)。

實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

論文通過對超過五百篇最新研究的綜合分析，展示了Agentic RL在多個(gè)任務(wù)域的廣泛適用性和優(yōu)越表現(xiàn)。實(shí)驗(yàn)設(shè)計(jì)涵蓋了多種環(huán)境模擬，包括動態(tài)網(wǎng)頁、圖形界面、代碼編輯、數(shù)學(xué)推理及多智能體交互等，體現(xiàn)了Agentic RL對復(fù)雜、多模態(tài)任務(wù)的適應(yīng)能力。結(jié)果表明：

• Agentic RL通過引入部分可觀測環(huán)境和多步?jīng)Q策機(jī)制，顯著提升了LLM代理在長時(shí)序任務(wù)中的表現(xiàn)和魯棒性。
• 采用GRPO及其衍生算法的訓(xùn)練策略，較傳統(tǒng)PPO和DPO在樣本利用率和訓(xùn)練穩(wěn)定性上表現(xiàn)出明顯優(yōu)勢。
• 聯(lián)合優(yōu)化規(guī)劃、工具使用和記憶模塊的策略，增強(qiáng)了智能體的自適應(yīng)能力和任務(wù)完成率，特別是在需要多輪交互和環(huán)境反饋的復(fù)雜場景中表現(xiàn)突出。
• 通過引入動態(tài)獎勵(lì)和分層次反饋機(jī)制，Agentic RL有效解決了傳統(tǒng)RL在LLM訓(xùn)練中的稀疏獎勵(lì)和長程依賴問題。

總體實(shí)驗(yàn)結(jié)果驗(yàn)證了理論框架的有效性和方法創(chuàng)新的實(shí)用價(jià)值，為未來Agentic RL的規(guī)模化應(yīng)用奠定了基礎(chǔ)。

結(jié)論與展望

論文總結(jié)了Agentic RL作為一種將大語言模型轉(zhuǎn)變?yōu)榫邆渥灾鳑Q策能力智能體的前沿范式，其在理論建模、能力模塊優(yōu)化及多任務(wù)適應(yīng)性方面的貢獻(xiàn)。當(dāng)前研究雖取得顯著進(jìn)展，但仍面臨諸多挑戰(zhàn)：

• 可信度與安全性：如何確保Agentic RL智能體在復(fù)雜環(huán)境中的決策透明、可解釋且符合倫理標(biāo)準(zhǔn)，仍需深入研究。
• 訓(xùn)練與環(huán)境規(guī)模擴(kuò)展：大規(guī)模、多樣化環(huán)境下的高效訓(xùn)練機(jī)制亟待突破，以實(shí)現(xiàn)更廣泛的應(yīng)用場景覆蓋。
• 能力融合與元學(xué)習(xí)：未來Agentic RL需探索規(guī)劃、推理、工具調(diào)用等能力的深度融合機(jī)制，以及自我調(diào)節(jié)的元學(xué)習(xí)策略，提升智能體的泛化和自適應(yīng)能力。

展望未來，Agentic RL有望推動通用人工智能的發(fā)展，實(shí)現(xiàn)具備長時(shí)序、多模態(tài)感知和復(fù)雜推理能力的智能體，廣泛應(yīng)用于科研、工業(yè)、教育等領(lǐng)域，開啟智能體技術(shù)的新篇章。

UI-TARS-2 Technical Report: Advancing GUI Agent with Multi-Turn Reinforcement Learning

2025-09-02｜ByteDance, Tencent AI Lab|??75

??http://arxiv.org/abs/2509.02544v1???
???https://huggingface.co/papers/2509.02544???
???https://github.com/bytedance/ui-tars,https://github.com/bytedance/UI-TARS-desktop??

研究背景與意義

1. 問題定義與現(xiàn)狀概述圖形用戶界面（GUI）智能代理的發(fā)展是人工智能領(lǐng)域的核心挑戰(zhàn)。傳統(tǒng)模塊化設(shè)計(jì)依賴專家規(guī)則，難以擴(kuò)展且易出錯(cuò)。近年來，端到端的原生代理模型通過統(tǒng)一感知、推理、行動和記憶，展現(xiàn)出更強(qiáng)的適應(yīng)性和可擴(kuò)展性。
2. 面臨的挑戰(zhàn)

• 數(shù)據(jù)稀缺性：GUI交互數(shù)據(jù)難以大規(guī)模收集，限制了模型的訓(xùn)練和泛化能力。
• 多輪強(qiáng)化學(xué)習(xí)的穩(wěn)定性：長序列的獎勵(lì)稀疏且延遲，優(yōu)化過程不穩(wěn)定，難以實(shí)現(xiàn)復(fù)雜任務(wù)的有效學(xué)習(xí)。
• 純GUI操作的局限：現(xiàn)實(shí)工作流涉及文件系統(tǒng)、終端等多種工具，單純GUI交互無法滿足復(fù)雜需求。
• 環(huán)境的可擴(kuò)展性與穩(wěn)定性：大規(guī)模訓(xùn)練環(huán)境易崩潰，難以支持高并發(fā)和長時(shí)間訓(xùn)練。

3. 研究目標(biāo)本文旨在提出UI-TARS-2，一個(gè)原生GUI中心的智能代理模型，針對上述挑戰(zhàn)，構(gòu)建系統(tǒng)化訓(xùn)練框架，實(shí)現(xiàn)數(shù)據(jù)與模型的協(xié)同進(jìn)化，多輪強(qiáng)化學(xué)習(xí)的穩(wěn)定訓(xùn)練，混合環(huán)境的跨工具操作，以及高吞吐量的統(tǒng)一沙箱平臺。

研究方法與創(chuàng)新

1. 核心技術(shù)框架UI-TARS-2基于四大支柱：

• 數(shù)據(jù)飛輪機(jī)制：通過持續(xù)預(yù)訓(xùn)練、監(jiān)督微調(diào)和多輪強(qiáng)化學(xué)習(xí)，模型與訓(xùn)練數(shù)據(jù)形成正反饋循環(huán)，逐步提升數(shù)據(jù)質(zhì)量和模型能力。
• 穩(wěn)定的多輪強(qiáng)化學(xué)習(xí)框架：采用異步推理、狀態(tài)保持環(huán)境、獎勵(lì)塑形、解耦優(yōu)勢估計(jì)和價(jià)值預(yù)訓(xùn)練等技術(shù)，解決長序列訓(xùn)練中的不穩(wěn)定性問題。
• 混合GUI環(huán)境：構(gòu)建集成文件系統(tǒng)、終端和外部工具的統(tǒng)一沙箱，突破純GUI交互限制，拓展代理任務(wù)范圍。
• 統(tǒng)一沙箱平臺：支持多種操作系統(tǒng)和瀏覽器環(huán)境，具備高并發(fā)、可復(fù)現(xiàn)和自動故障恢復(fù)能力，保障大規(guī)模訓(xùn)練和評估的穩(wěn)定性。

2. 創(chuàng)新點(diǎn)詳解

• 原生代理建模：采用ReAct范式，將推理、行動和觀察交織，結(jié)合分層記憶（工作記憶與情節(jié)記憶），實(shí)現(xiàn)長時(shí)序上下文管理。
• 數(shù)據(jù)采集創(chuàng)新：開發(fā)“就地部署”的思考語音同步標(biāo)注系統(tǒng)，結(jié)合專家與新手雙軌采集，捕獲真實(shí)且豐富的認(rèn)知軌跡，填補(bǔ)多輪交互數(shù)據(jù)空白。
• 人機(jī)交互式在線標(biāo)注：構(gòu)建四層架構(gòu)的交互式標(biāo)注平臺，支持標(biāo)注者實(shí)時(shí)介入模型推理過程，生成嚴(yán)格的在線策略數(shù)據(jù)，提升訓(xùn)練數(shù)據(jù)的真實(shí)性和有效性。
• 任務(wù)設(shè)計(jì)與獎勵(lì)機(jī)制：設(shè)計(jì)多條件模糊和多跳鏈?zhǔn)酵评砣蝿?wù)，結(jié)合自動驗(yàn)證和LLM判定獎勵(lì)，確保訓(xùn)練信號的準(zhǔn)確性與多樣性。
• 參數(shù)插值融合多領(lǐng)域?qū)＜夷Ｐ?/strong>：利用模型參數(shù)的線性連通性，將不同領(lǐng)域（瀏覽、游戲、終端等）專精模型通過插值合并，實(shí)現(xiàn)跨領(lǐng)域泛化，避免聯(lián)合訓(xùn)練的復(fù)雜性。

3. 理論基礎(chǔ)與優(yōu)勢本方法基于強(qiáng)化學(xué)習(xí)理論中的PPO算法，結(jié)合最新的優(yōu)勢估計(jì)改進(jìn)（如Decoupled-GAE和Length-Adaptive GAE），提升長序列訓(xùn)練的穩(wěn)定性和效率。異步推理和狀態(tài)保持環(huán)境設(shè)計(jì)解決了傳統(tǒng)批量訓(xùn)練的瓶頸。參數(shù)插值策略則依托于深度學(xué)習(xí)模型的線性模式連通性理論，保證多任務(wù)融合的性能保留。

實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

1. 實(shí)驗(yàn)設(shè)計(jì)

• 模型架構(gòu)：基于532M視覺編碼器與23B參數(shù)的MoE大模型，繼承Seed1.6預(yù)訓(xùn)練權(quán)重。
• 訓(xùn)練流程：多輪迭代訓(xùn)練，包含持續(xù)預(yù)訓(xùn)練（CT）、監(jiān)督微調(diào)（SFT）及多輪強(qiáng)化學(xué)習(xí)（RL）和拒絕采樣（RFT）。
• 評測基準(zhǔn)：涵蓋計(jì)算機(jī)使用（OSWorld、WindowsAgentArena、TerminalBench、SWE-Bench）、移動設(shè)備（AndroidWorld）、瀏覽器任務(wù)（Online-Mind2Web、BrowseComp）及游戲環(huán)境（15款游戲集合和LMGame-Bench）。

2. 結(jié)果

• GUI任務(wù)表現(xiàn)顯著提升：UI-TARS-2在OSWorld、WindowsAgentArena、AndroidWorld和Online-Mind2Web上分別取得47.5%、50.6%、73.3%和88.2%的準(zhǔn)確率，全面超越前代UI-TARS-1.5及主流商業(yè)模型（Claude 4、OpenAI-o3等）。
• 擴(kuò)展SDK帶來能力躍升：通過GUI-SDK擴(kuò)展，模型在終端和軟件工程任務(wù)（TerminalBench、SWE-Bench）中表現(xiàn)優(yōu)異，證明跨工具操作能力顯著增強(qiáng)。
• 強(qiáng)化學(xué)習(xí)促進(jìn)泛化：RL訓(xùn)練不僅提升了目標(biāo)任務(wù)表現(xiàn)，也帶來了對未見領(lǐng)域的強(qiáng)泛化能力，如OSWorld和AndroidWorld的準(zhǔn)確率大幅提升。
• 游戲環(huán)境表現(xiàn)競爭力強(qiáng)：在15款游戲中，模型達(dá)到約60%的人類水平，且在LMGame-Bench中與前沿專有模型相當(dāng)，展現(xiàn)出良好的長時(shí)序控制和動態(tài)交互能力。

3. 統(tǒng)計(jì)顯著性與多場景表現(xiàn)實(shí)驗(yàn)涵蓋多操作系統(tǒng)、多設(shè)備和多任務(wù)類型，結(jié)果在多個(gè)基準(zhǔn)上均顯著優(yōu)于對比模型，體現(xiàn)了方法的普適性和穩(wěn)定性。詳細(xì)訓(xùn)練動態(tài)分析揭示了多輪RL框架在長序列任務(wù)中的收斂性和效率優(yōu)勢。

結(jié)論與展望

1. 研究貢獻(xiàn)總結(jié)UI-TARS-2通過系統(tǒng)化的數(shù)據(jù)飛輪、穩(wěn)定的多輪強(qiáng)化學(xué)習(xí)框架、混合交互環(huán)境和統(tǒng)一沙箱平臺，成功構(gòu)建了一個(gè)強(qiáng)大且泛化能力卓越的GUI中心智能代理，實(shí)現(xiàn)了跨領(lǐng)域、多任務(wù)的高效交互與推理能力。
2. 局限分析

• 當(dāng)前模型對極端復(fù)雜的任務(wù)仍存在挑戰(zhàn)，尤其是在極長時(shí)序和高度開放環(huán)境下的穩(wěn)定性有待提升。
• 數(shù)據(jù)采集依賴人工標(biāo)注和合成，規(guī)模和多樣性仍有限，未來需進(jìn)一步擴(kuò)展。
• 跨領(lǐng)域參數(shù)插值雖然有效，但聯(lián)合訓(xùn)練的潛力尚未完全挖掘。

3. 未來方法展望

• 探索更深層次的多模態(tài)融合與長期記憶管理，提高代理對復(fù)雜環(huán)境的適應(yīng)能力。
• 開發(fā)自動化且高效的數(shù)據(jù)生成與標(biāo)注技術(shù)，降低人工成本，提升數(shù)據(jù)覆蓋。
• 研究聯(lián)合多任務(wù)訓(xùn)練與動態(tài)模型融合策略，進(jìn)一步增強(qiáng)跨領(lǐng)域協(xié)同與泛化性能。
• 拓展代理能力至更多實(shí)際應(yīng)用場景，如智能助理、自動化運(yùn)維和復(fù)雜軟件開發(fā)。

綜上，UI-TARS-2不僅推動了GUI智能代理的技術(shù)前沿，也為多領(lǐng)域交互智能體的構(gòu)建提供了寶貴的理論與實(shí)踐經(jīng)驗(yàn)。

SimpleTIR: End-to-End Reinforcement Learning for Multi-Turn Tool-Integrated Reasoning

2025-09-02｜NTU, TikTok|??64

??http://arxiv.org/abs/2509.02479v2???
???https://huggingface.co/papers/2509.02479???
???https://github.com/ltzheng/SimpleTIR/tree/main??

研究背景與意義

• 問題定義與現(xiàn)狀概述大型語言模型（LLMs）通過與外部工具交互實(shí)現(xiàn)工具集成推理（Tool-Integrated Reasoning，TIR），顯著提升推理能力。尤其是在多輪交互場景中，LLMs能夠迭代生成代碼、執(zhí)行并利用反饋進(jìn)行下一步推理，解決了計(jì)算精度不足和知識截止等固有限制。
• 挑戰(zhàn)與目標(biāo)闡明多輪TIR的強(qiáng)化學(xué)習(xí)訓(xùn)練面臨嚴(yán)重的不穩(wěn)定性和梯度爆炸問題，主要源于外部工具反饋引發(fā)的分布漂移，導(dǎo)致模型生成低概率token并累積放大，最終使訓(xùn)練崩潰。傳統(tǒng)的“冷啟動”監(jiān)督微調(diào)雖能提升穩(wěn)定性，但限制了模型探索多樣推理策略的能力。本文旨在提出一種無需冷啟動、能穩(wěn)定訓(xùn)練多輪TIR的強(qiáng)化學(xué)習(xí)方法，實(shí)現(xiàn)零監(jiān)督強(qiáng)化學(xué)習(xí)（Zero RL）下的端到端訓(xùn)練。

研究方法與創(chuàng)新

• 技術(shù)描述與核心創(chuàng)新作者通過理論分析發(fā)現(xiàn)，低概率token的出現(xiàn)是多輪TIR訓(xùn)練不穩(wěn)定的根源，導(dǎo)致梯度范數(shù)爆炸和錯(cuò)誤的信用分配?；诖?，提出了SimpleTIR算法——一種軌跡過濾機(jī)制。SimpleTIR定義“空洞回合”（void turn）為未生成完整代碼塊或最終答案的回合，通過剔除包含空洞回合的軌跡，阻斷了由低概率token引發(fā)的高幅度梯度傳播，從而穩(wěn)定訓(xùn)練過程。
• 優(yōu)勢解釋與現(xiàn)有方法對比SimpleTIR方法簡單易集成，適配性強(qiáng)，且不依賴額外的監(jiān)督數(shù)據(jù)或復(fù)雜的閾值調(diào)節(jié)。與傳統(tǒng)基于概率閾值或重要性比率的過濾不同，空洞回合的判定更直觀且效果顯著，避免了訓(xùn)練中的梯度爆炸和信用分配誤差。此外，SimpleTIR保持了Zero RL的優(yōu)勢，鼓勵(lì)模型自發(fā)發(fā)現(xiàn)多樣化推理策略，如交叉驗(yàn)證、漸進(jìn)推理和自我糾錯(cuò)，超越了依賴?yán)鋯拥哪Ｐ捅憩F(xiàn)。
• 理論基礎(chǔ)討論通過對策略梯度關(guān)于softmax logits的范數(shù)展開，揭示了低概率token如何放大梯度，特別是在未裁剪的PPO重要性比率和尖銳分布下，梯度爆炸尤為嚴(yán)重。該理論分析為SimpleTIR的軌跡過濾提供了堅(jiān)實(shí)的數(shù)學(xué)依據(jù)。

實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

• 實(shí)驗(yàn)設(shè)計(jì)采用Qwen-2.5系列基礎(chǔ)模型，在多個(gè)數(shù)學(xué)推理基準(zhǔn)（如AIME24、Math500、AMC23等）上評估SimpleTIR。訓(xùn)練采用Zero RL范式，批量512，最大響應(yīng)長度逐步擴(kuò)展，最多支持10輪代碼執(zhí)行。對比對象涵蓋無TIR的Zero RL方法、依賴?yán)鋯拥腡IR強(qiáng)化學(xué)習(xí)方法，以及現(xiàn)有的Zero RL TIR方法。
• 結(jié)果分析與基準(zhǔn)對比SimpleTIR顯著提升了多輪TIR訓(xùn)練的穩(wěn)定性，梯度范數(shù)平穩(wěn)無爆炸，訓(xùn)練曲線平滑且性能持續(xù)提升。在AIME24任務(wù)上，SimpleTIR將基線模型分?jǐn)?shù)從22.1提升至50.5，遠(yuǎn)超所有Zero RL及部分冷啟動方法。消融實(shí)驗(yàn)證明，空洞回合過濾是穩(wěn)定訓(xùn)練和性能提升的關(guān)鍵，而基于低概率token或高重要性比率的過濾效果不佳。此外，SimpleTIR在多輪交互次數(shù)增加時(shí)表現(xiàn)更優(yōu)，響應(yīng)長度和部分任務(wù)得分隨之提升。
• 多樣化推理行為的出現(xiàn)SimpleTIR訓(xùn)練出的模型展現(xiàn)出豐富的推理模式，包括交叉驗(yàn)證、漸進(jìn)推理和錯(cuò)誤糾正，頻率明顯高于依賴?yán)鋯拥腞eTool模型，體現(xiàn)了Zero RL訓(xùn)練鼓勵(lì)探索多樣策略的優(yōu)勢。

結(jié)論與展望

• 貢獻(xiàn)總結(jié)本文提出的SimpleTIR通過過濾空洞回合軌跡，成功解決了多輪TIR強(qiáng)化學(xué)習(xí)中的訓(xùn)練不穩(wěn)定和梯度爆炸難題，實(shí)現(xiàn)了端到端的Zero RL多輪工具集成推理訓(xùn)練。其在多個(gè)數(shù)學(xué)推理基準(zhǔn)上取得了領(lǐng)先性能，并促進(jìn)了多樣化推理策略的自發(fā)形成。
• 局限性分析當(dāng)前方法依賴空洞回合作為低概率token的代理指標(biāo)，可能難以直接推廣至非多輪TIR任務(wù)；最大交互輪次限制為10，復(fù)雜任務(wù)可能需更多輪次；訓(xùn)練依賴高效的并行代碼執(zhí)行沙箱，實(shí)際部署中存在效率與穩(wěn)定性挑戰(zhàn)。
• 未來研究方向包括探索更通用的低概率token檢測指標(biāo)，擴(kuò)展多輪交互次數(shù)以適應(yīng)更復(fù)雜任務(wù)，優(yōu)化代碼執(zhí)行環(huán)境以提升訓(xùn)練效率，以及實(shí)現(xiàn)完全異步的rollout和獎勵(lì)計(jì)算機(jī)制，進(jìn)一步提升多輪TIR強(qiáng)化學(xué)習(xí)的可擴(kuò)展性和實(shí)用性。

VerlTool: Towards Holistic Agentic Reinforcement Learning with Tool Use

2025-09-01｜U Waterloo, Sea AI Lab, U Toronto, SHU, HKUST, NUS, NetMind.AI|??48

??http://arxiv.org/abs/2509.01055v1???
???https://huggingface.co/papers/2509.01055???
???https://github.com/TIGER-AI-Lab/verl-tool??

研究背景與意義

• 背景現(xiàn)狀：近年來，大型語言模型（LLMs）通過強(qiáng)化學(xué)習(xí)與可驗(yàn)證獎勵(lì)（RLVR）極大提升了推理能力，尤其在數(shù)學(xué)和編程領(lǐng)域表現(xiàn)優(yōu)異。然而，現(xiàn)有RLVR多限于單輪交互，缺乏與外部工具的深度集成，導(dǎo)致模型推理過程封閉，難以適應(yīng)復(fù)雜環(huán)境。
• 問題挑戰(zhàn)：多輪、多工具交互的Agentic Reinforcement Learning with Tool use（ARLT）雖已興起，但現(xiàn)有系統(tǒng)多為任務(wù)定制，缺乏統(tǒng)一框架，存在代碼碎片化、同步執(zhí)行瓶頸和擴(kuò)展性差等問題，阻礙了社區(qū)廣泛采用和算法創(chuàng)新。
• 研究目標(biāo)：本文提出VERLTOOL，一個(gè)統(tǒng)一且模塊化的ARLT訓(xùn)練框架，旨在解決上述挑戰(zhàn)，支持多模態(tài)工具管理與異步執(zhí)行，提升訓(xùn)練效率和系統(tǒng)擴(kuò)展性，促進(jìn)工具增強(qiáng)型強(qiáng)化學(xué)習(xí)研究的發(fā)展。

研究方法與創(chuàng)新

• 技術(shù)描述：

上游對齊：VERLTOOL基于VERL框架，確保與上游代碼兼容，簡化維護(hù)。

統(tǒng)一工具管理：設(shè)計(jì)標(biāo)準(zhǔn)化API，支持代碼執(zhí)行、搜索、SQL查詢和視覺處理等多模態(tài)工具，新增工具僅需輕量Python定義，極大降低開發(fā)門檻。

異步Rollout執(zhí)行：采用軌跡級異步調(diào)用工具服務(wù)器，避免傳統(tǒng)批處理同步等待，提升推理速度近2倍。

多任務(wù)支持：框架涵蓋數(shù)學(xué)推理、知識問答、SQL生成、視覺推理、網(wǎng)頁搜索和軟件工程六大任務(wù)，提供統(tǒng)一訓(xùn)練基礎(chǔ)設(shè)施。

• 創(chuàng)新優(yōu)勢：

系統(tǒng)設(shè)計(jì)：模塊化插件架構(gòu)實(shí)現(xiàn)工具與訓(xùn)練流程解耦，支持多工具并行調(diào)用，提升擴(kuò)展性和復(fù)用性。

異步執(zhí)行機(jī)制：突破傳統(tǒng)同步框架限制，實(shí)現(xiàn)高效資源利用，顯著加速訓(xùn)練過程。

多模態(tài)支持：融合文本、圖像、視頻等多種數(shù)據(jù)形式，滿足復(fù)雜多樣的工具交互需求。

• 理論基礎(chǔ)對比：

相較于傳統(tǒng)RLVR僅支持單輪靜態(tài)交互，VERLTOOL擴(kuò)展為多輪、多模態(tài)交互，結(jié)合GRPO算法優(yōu)化策略，解決了工具調(diào)用中觀測偏差和策略穩(wěn)定性問題，理論上更適合開放環(huán)境下的智能體訓(xùn)練。

實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

• 實(shí)驗(yàn)設(shè)計(jì)：

在六大ARLT任務(wù)上進(jìn)行訓(xùn)練與評估，包括數(shù)學(xué)推理（VT-Math）、知識問答（VT-Search）、SQL生成（VT-SQL）、視覺推理（VT-VisualReasoner）、深度搜索（VT-DeepSearch）及軟件工程（VT-SWE）。

對比現(xiàn)有專用系統(tǒng)，采用相同模型基線，驗(yàn)證VERLTOOL的通用性與性能。

評估指標(biāo)涵蓋準(zhǔn)確率、通過率及任務(wù)特定性能指標(biāo)，輔以訓(xùn)練過程中的工具使用頻率和交互策略分析。

• 結(jié)果分析：

性能表現(xiàn)：VERLTOOL訓(xùn)練模型在所有任務(wù)上均達(dá)到或超越現(xiàn)有專用系統(tǒng)，數(shù)學(xué)任務(wù)平均性能62.2%，知識問答提升至45.9%，SQL任務(wù)與SkyRL-SQL表現(xiàn)相當(dāng)，視覺和搜索任務(wù)亦展現(xiàn)強(qiáng)勁競爭力。

工具支持與多模態(tài)表現(xiàn)：框架成功整合文本、代碼、搜索、圖像和系統(tǒng)命令工具，支持復(fù)雜多模態(tài)交互，視覺推理任務(wù)中實(shí)現(xiàn)動態(tài)圖像處理與多步推理，體現(xiàn)出框架的靈活性與強(qiáng)大適應(yīng)性。

訓(xùn)練動態(tài)與策略演化：不同任務(wù)中工具調(diào)用次數(shù)表現(xiàn)差異，數(shù)學(xué)任務(wù)調(diào)用頻率較低且趨于穩(wěn)定，搜索任務(wù)調(diào)用頻率隨訓(xùn)練增長顯著上升，反映出模型對工具依賴的任務(wù)特性。模型展現(xiàn)出自我糾錯(cuò)、迭代優(yōu)化和策略選擇等高級智能體行為。

效率提升：異步執(zhí)行機(jī)制使Rollout階段速度提升近2倍，顯著提高GPU利用率，減少訓(xùn)練時(shí)間。

結(jié)論與展望

• 研究貢獻(xiàn)總結(jié)：

提出VERLTOOL，首個(gè)統(tǒng)一、模塊化且高效的ARLT訓(xùn)練框架，實(shí)現(xiàn)多模態(tài)工具集成與異步訓(xùn)練。

通過廣泛任務(wù)驗(yàn)證，證明框架具備優(yōu)異的性能和良好的擴(kuò)展性，促進(jìn)了多輪、多工具交互的Agentic RL研究。

開源代碼降低社區(qū)門檻，推動工具增強(qiáng)強(qiáng)化學(xué)習(xí)的普及與創(chuàng)新。

• 局限性分析：

當(dāng)前工具種類雖豐富，但仍需擴(kuò)展支持更多復(fù)雜工具和更大規(guī)模分布式訓(xùn)練。

多模態(tài)數(shù)據(jù)處理和策略穩(wěn)定性仍有提升空間，尤其在極端復(fù)雜環(huán)境下的泛化能力待加強(qiáng)。

• 未來展望：

計(jì)劃引入更豐富的工具類型和多智能體協(xié)作機(jī)制，提升系統(tǒng)智能化水平。

探索更高效的異步調(diào)度策略和動態(tài)資源分配方案，進(jìn)一步提升訓(xùn)練效率。

深化理論研究，完善多模態(tài)Agentic RL的算法基礎(chǔ)，推動智能體在真實(shí)復(fù)雜環(huán)境中的廣泛應(yīng)用。

Baichuan-M2: Scaling Medical Capability with Large Verifier System

2025-09-02｜Baichuan-M2Team|??28

??http://arxiv.org/abs/2509.02208v1???
???https://huggingface.co/papers/2509.02208??

研究背景與意義

• 領(lǐng)域現(xiàn)狀與挑戰(zhàn)：隨著大型語言模型（LLMs）在對話和推理能力上的進(jìn)步，其在醫(yī)療領(lǐng)域的實(shí)際應(yīng)用成為研究熱點(diǎn)。然而，當(dāng)前醫(yī)療LLMs在靜態(tài)考試（如USMLE）中的表現(xiàn)與實(shí)際臨床決策中的效用存在顯著差距，主要因傳統(tǒng)考試無法反映醫(yī)療咨詢的動態(tài)交互和復(fù)雜性。
• 研究目標(biāo)：為彌補(bǔ)這一差距，論文提出構(gòu)建一個(gè)大規(guī)模、高保真度的動態(tài)交互式強(qiáng)化學(xué)習(xí)驗(yàn)證系統(tǒng)，使模型能在模擬的臨床環(huán)境中“練習(xí)”和適應(yīng)，提升其臨床推理和決策能力，實(shí)現(xiàn)醫(yī)療AI從靜態(tài)知識記憶向動態(tài)臨床思維的深度對齊。

研究方法與創(chuàng)新

• 動態(tài)驗(yàn)證系統(tǒng)設(shè)計(jì)：系統(tǒng)由兩大核心模塊構(gòu)成：

患者模擬器：基于脫敏醫(yī)療記錄和醫(yī)生-患者對話，結(jié)合心理和社會背景建模，模擬多樣化且行為一致的虛擬患者，實(shí)現(xiàn)多輪動態(tài)交互，突破以往靜態(tài)問答的局限。

臨床評分生成器：動態(tài)生成多維度評價(jià)指標(biāo)（診斷準(zhǔn)確性、咨詢邏輯、治療合理性、溝通同理心及醫(yī)學(xué)倫理等），實(shí)現(xiàn)對模型多輪表現(xiàn)的實(shí)時(shí)、量化評估，貼近臨床專家的綜合判斷。

• 多階段強(qiáng)化學(xué)習(xí)訓(xùn)練策略：

輕量級中期訓(xùn)練優(yōu)化醫(yī)學(xué)領(lǐng)域適應(yīng)性，同時(shí)保留模型通用能力。

監(jiān)督微調(diào)階段建立基礎(chǔ)推理能力，過濾和精選高質(zhì)量醫(yī)學(xué)對話數(shù)據(jù)。

基于改進(jìn)的群體相對策略優(yōu)化（GRPO）算法，分階段進(jìn)行規(guī)則驅(qū)動、評分驅(qū)動及多輪交互強(qiáng)化學(xué)習(xí)，逐步提升模型醫(yī)學(xué)知識整合、推理深度和動態(tài)交互能力。

• 創(chuàng)新點(diǎn)詳解：

患者模擬器通過結(jié)合心理模型（如MBTI）和社會屬性，實(shí)現(xiàn)個(gè)性化、多樣化且行為一致的模擬，解決信息泄露、事實(shí)不一致及對話終止控制等難題。

臨床評分生成器采用生成式方法結(jié)合專家篩選和權(quán)重標(biāo)注，確保評分標(biāo)準(zhǔn)既全面又靈活，且在評估中達(dá)到92.7%的專家一致性，提升評價(jià)的可靠性和適應(yīng)性。

引入條件長度懲罰機(jī)制，平衡醫(yī)學(xué)回答的專業(yè)性與簡潔性，避免冗余和“越短越好”的病態(tài)優(yōu)化。

采用親和機(jī)制優(yōu)化多維評分的計(jì)算效率，提升驗(yàn)證系統(tǒng)的實(shí)時(shí)響應(yīng)能力。

實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

• 實(shí)驗(yàn)設(shè)計(jì)：

采用OpenAI發(fā)布的HealthBench數(shù)據(jù)集，涵蓋5000個(gè)真實(shí)多輪醫(yī)療對話，使用超過4.8萬個(gè)由262名臨床醫(yī)生設(shè)計(jì)的評分標(biāo)準(zhǔn)進(jìn)行多維評價(jià)。

對比對象包括最先進(jìn)的開源模型（如gpt-oss-120B、Qwen3-235B-A22B）及閉源模型（如GPT-4.1、Grok 3等）。

評測指標(biāo)覆蓋整體表現(xiàn)、難度較高任務(wù)和專家共識任務(wù)，細(xì)分核心醫(yī)療場景能力（急診轉(zhuǎn)診、上下文理解、溝通質(zhì)量等）。

• 結(jié)果分析：

Baichuan-M2（32B參數(shù)）在HealthBench整體及難度任務(wù)中均顯著優(yōu)于所有開源對手，且在難度最高的測試集上表現(xiàn)超過除GPT-5外的所有模型。

其性能在閉源模型中亦處于領(lǐng)先或持平水平，尤其在復(fù)雜醫(yī)療任務(wù)中展現(xiàn)出更強(qiáng)的推理和交互能力。

在模型規(guī)模與性能的權(quán)衡上，Baichuan-M2實(shí)現(xiàn)了Pareto最優(yōu)，兼具高性能與較低部署成本，適合資源有限的醫(yī)療環(huán)境。

細(xì)分指標(biāo)顯示，模型在急診轉(zhuǎn)診、醫(yī)療上下文理解、溝通能力和回答完整性等關(guān)鍵醫(yī)療能力上均排名第一，體現(xiàn)了其臨床應(yīng)用的實(shí)用性和有效性。

結(jié)論與展望

• 研究貢獻(xiàn)總結(jié)：

提出并實(shí)現(xiàn)了一個(gè)動態(tài)交互式的醫(yī)療強(qiáng)化學(xué)習(xí)驗(yàn)證系統(tǒng)，突破了傳統(tǒng)靜態(tài)評測的局限，實(shí)現(xiàn)了臨床場景的高度仿真與多維度評價(jià)。

設(shè)計(jì)并優(yōu)化了患者模擬器與臨床評分生成器，提升了模擬真實(shí)性和評價(jià)準(zhǔn)確性，為強(qiáng)化學(xué)習(xí)提供了堅(jiān)實(shí)的環(huán)境和反饋機(jī)制。

采用多階段強(qiáng)化學(xué)習(xí)策略和改進(jìn)的GRPO算法，顯著提升了模型的醫(yī)學(xué)推理和交互能力，實(shí)現(xiàn)了開源醫(yī)療AI模型的新標(biāo)桿。

在公開醫(yī)療評測中取得領(lǐng)先成績，展示了高效且實(shí)用的模型訓(xùn)練與驗(yàn)證范式，推動醫(yī)療AI向更安全、精準(zhǔn)和可部署方向發(fā)展。

• 未來展望：

計(jì)劃進(jìn)一步完善患者模擬器和評分系統(tǒng)，擴(kuò)展強(qiáng)化學(xué)習(xí)訓(xùn)練從對話片段到完整會話的優(yōu)化，提升模型的全局規(guī)劃和系統(tǒng)推理能力。

探索更細(xì)粒度的多模態(tài)醫(yī)療數(shù)據(jù)融合，增強(qiáng)模型對醫(yī)學(xué)影像、檢驗(yàn)報(bào)告等多源信息的理解與推理。

推動模型在更廣泛臨床場景中的應(yīng)用驗(yàn)證，促進(jìn)醫(yī)療AI技術(shù)的臨床落地和實(shí)際效益最大化。

本文轉(zhuǎn)載自??AI研究前瞻??，作者：胡耀淇