LLM 與強化學習的新范式：Agentic RL 研究綜述
引言
本文旨在解讀并整理一篇關于大模型 (LLM) 領域備受關注的研究——“基于 LLM 的智能體強化學習 (Agentic Reinforcement Learning, Agentic RL)概覽” [1]。該綜述引用了500 多篇文獻，內容豐富，本文將聚焦于其中我個人認為重要的議題。希望這篇總結能為那些對 Agentic RL 感興趣，或想了解通過強化學習 (RL) 提升 LLM 能力最新進展的讀者提供參考。
三句話總結
- Agentic RL 是一種將 LLM 視為可學習的策略，通過強化學習提升其作為智能體與環境交互并實現長期目標的能力的框架。
- 除了提示工程 (Prompt Engineering) 和有監督微調 (Supervised Fine-Tuning, SFT) 外，強化學習在提升智能體性能方面扮演著關鍵角色。
- 強化學習正在用于改進智能體的六項核心能力：推理、工具使用、記憶、規劃、自我改進和感知。
LLM 與強化學習的發展趨勢
在深入探討 Agentic RL 之前，我們先簡單回顧一下強化學習如何應用于 LLM。
偏好微調
自 2022 年 11 月 ChatGPT 發布以來，LLM 對話系統迅速普及。LLM 通常通過大規模網絡語料庫進行預訓練，并通過有監督學習的指令微調來學習如何響應人類指令。然而，僅憑這些，LLM 有時會產生不符合人類偏好或倫理不當的回復，因此研究人員開始利用強化學習進行偏好微調，使 LLM 的回復更符合人類喜好。典型的例子是基于人類反饋的強化學習 (Reinforcement Learning from Human Feedback, RLHF)，它通過學習人類反饋的獎勵模型來為 LLM 的回復提供獎勵并進行優化。此外，還有使用 AI 反饋的 RLAIF (Reinforcement Learning from AI Feedback)，以及諸如 DPO [3] 等不依賴獎勵模型或強化學習直接學習偏好的方法。本文將這些偏好微調方法統稱為基于偏好的強化微調 (Preference-Based Reinforcement Fine-Tuning, PBRFT)，并將其歸類為傳統強化學習。
推理能力的提升
早期，強化學習主要應用于 LLM 的偏好微調。然而，2024 年 9 月，OpenAI 發布了首個推理模型——OpenAI o1。根據系統卡片 [4] 報告，o1 通過強化學習提升了其深思熟慮并得出答案的能力。盡管具體的實現方法未公開，但 2025 年 1 月發布的 DeepSeek-R1 展示了強化學習能顯著提高LLM 的推理和泛化能力。它采用了一種不需要價值評估模型的 GRPO 強化學習算法，并針對具有確定性答案的問題使用可驗證的基于規則的獎勵，從而減少了獎勵模型并降低了學習成本。這標志著強化學習的應用從傳統的“對齊目標”擴展到“能力提升目標”，最終促成了本文的主題——Agentic RL 的發展。
工具使用性能的提升
據報道，2025 年2 月發布的 ChatGPT 的 Deep Research（一項利用網絡搜索生成報告的功能）也應用了強化學習 [5]。
此外，OpenAI o1 的后續模型 o3，除了推理能力外，在何時以及如何使用工具方面，工具使用性能也通過強化學習得到了提升 [6]。
綜上所述，強化學習在 LLM 上的應用已從偏好微調擴展到提升 LLM 的推理能力和作為智能體的工具使用性能?；谶@些歷史背景，本文接下來將介紹 Agentic RL。
何謂 Agentic RL？
首先，引用本論文中對Agentic RL 的定義：
圖像：Agentic RL 定義圖示
Agentic RL 指的是一種范式，它將 LLM 視為嵌入在順序決策循環中的“可學習策略”，而非以優化單一輸出一致性或基準性能為目標的靜態條件生成模型。在此框架下，通過強化學習賦予模型規劃、推理、工具使用、記憶保持和自我反思等自主智能體能力，使其能夠在部分可觀測的動態環境中自發產生長期的認知和對話行為。
換言之，Agentic RL 可以理解為：將 LLM 視為一個自主行動的智能體，并通過強化學習來提升其與環境交互并實現長期目標的能力。
為了更深入理解，我們來比較一下 Agentic RL 與傳統 PBRFT 的區別。
PBRFT 與 Agentic RL 的比較
由于強化學習是基于馬爾可夫決策過程 (Markov Decision Process) 框架進行形式化的，因此我們將從這個角度對傳統的 PBRFT 和 Agentic RL 進行比較。下表總結了兩者的差異：
圖像：PBRFT 與 Agentic RL 比較表格
狀態 (State)
在傳統的 PBRFT中，情節的初始狀態 僅由一個用戶提示構成，模型響應后情節即刻結束 (時間跨度 )。相比之下，在 Agentic RL 中，智能體在環境中的每個時間步 會接收到狀態 的觀測值 。狀態和觀測會根據智能體的行動而變化，并隨時間推移而演變 (時間跨度 )。
例如，對于一個研究智能體，通過網絡搜索獲得的外部信息就構成了觀測。在 Agentic RL 中，狀態也可以理解為上下文。
行動(Action)
傳統 PBRFT 的行動僅限于文本輸出。然而，在 Agentic RL 中，行動空間擴展為文本生成 () 和環境操作 ()兩種。
例如，對于一個操作圖形用戶界面 (GUI) 的智能體，文本生成可能對應于向人類或其他智能體發送消息，或者生成思維鏈 (Chain-of-Thought, CoT)；而環境操作則對應于點擊、滾動或填寫表單等 GUI 動作。
轉移函數 (Transition)
在傳統的 PBRFT 中，由于一次行動（文本生成）后情節即刻結束，因此不存在狀態轉移。相比之下，在 Agentic RL 中，狀態會根據概率轉移函數 在每個步驟中變化。例如，當智能體采取向人類提問的行動時，由于人類的回答不總是確定的，因此下一個狀態會隨機變化。
獎勵 (Reward)
傳統的 PBRFT 僅對一次輸出的好壞給予標量獎勵 ，沒有中間反饋。而 Agentic RL 除了任務完成時的獎勵外，還可以在中間步驟適時提供部分獎勵。例如，可以對子目標的達成、工具的正確使用、單元測試的通過、數學定理證明的部分進展等給予部分獎勵，從而學習包含中間過程的復雜任務。獎勵不僅可以是人類或 AI 反饋模型（獎勵模型）的評估值，還可以是基于規則的可驗證獎勵 (Verifiable Rewards) 或模擬器內的分數等多種設計。### 目標函數 (Objective)
傳統 PBRFT 的目標函數 是最大化單步的期望獎勵。而 Agentic RL 則是最大化折扣累積獎勵 的長期優化問題。智能體需要學習一種考慮未來收益的策略，這要求它選擇短期內可能不利但長期有利的行動。
這兩種方法都利用強化學習來提高 LLM 的性能，但它們在潛在假設、任務結構和決策粒度上存在根本性差異。下圖展示了從 PBRFT 到 Agentic RL 在各個要素上的范式轉變。
圖像：PBRFT 到 Agentic RL 的范式轉變
智能體的核心能力與通過強化學習進行的優化
在 Agentic RL 中，關鍵在于賦予 LLM 智能體何種能力，以及如何通過強化學習來優化這些能力。本文提到了以下六項核心能力。下面將介紹如何通過強化學習來提升這些能力。。
- 推論 (Reasoning)
- 工具使用 (Tool Use)
- 記憶 (Memory)
- 規劃 (Planning)
- 自我改進 (Self-Improvement)
- 感知 (Perception)
圖像：智能體核心能力圖示
推論(Reasoning)
推論是指從給定信息中邏輯地得出結論的過程。傳統的 LLM 已經通過 Chain-of-Thought (CoT) 提示等技術具備了推論能力，但最近，利用強化學習提升 LLM 推論能力的研究正在取得進展。DeepSeek-R1 極大地加速了這一趨勢。它通過采用無需價值函數模型的 GRPO 和針對單一答案任務的基于規則獎勵的效率優化，廣泛展示了強化學習增強推論能力的效果。然而，由于其實現是封閉的，這給可復現的比較驗證和進一步研究帶來了障礙。DAPO [7] 的出現解決了這一問題。它在 DeepSeek-R1 一半的學習步數下達到了相似的性能，最重要的是，DAPO 完全開源了算法、代碼和數據集，為推論模型的強化學習研究提供了可復現和擴展的環境，這是一項重要貢獻。
推論模型的研究除了進一步提升推論能力外，還需解決“過度思考 (overthinking)”的問題。過度思考會導致響應用戶的時間過長，甚至可能因為深思熟慮而反而降低準確性。
Qwen3 [8] 為了在單一模型中實現用于復雜多步推論的“思考模式 (thinking mode)”和用于快速響應的“非思考模式 (non-thinking mode)”，結合了強化學習 (RL) 和有監督微調 (SFT)，并進行了以下四階段學習。有趣的是，通過思考模式的學習，模型自然地獲得了“思考預算 (thinking budget)”機制，用戶可以以 token 數的形式指定分配給推論的計算資源。
- 第一階段：Long-CoT 冷啟動 (SFT)**：通過 SFT 讓模型學習基本的推論模式。
- 第二階段：推論強化學習 (Reasoning RL)**：通過 RL 提升在高級復雜推論任務（如數學和編程）中的性能。
- 第三階段：思考模式融合 (SFT)**：通過 SFT學習遵循用戶指令，例如
/think和/no_think。 - 第四階段：通用強化學習 (General RL)**：針對一般任務（如指令遵循、格式遵守、智能體能力等），調整模型響應以符合用戶偏好。
圖像：Qwen3 技術報告圖示
Qwen3 Technical Report (https://arxiv.org/abs/2505.09388)
此外，第二階段的推論強化學習 (Reasoning RL) 為了穩定學習，設計了滿足以下條件的數據集。特別是第二和第三點給我留下了深刻印象，似乎在推論強化學習中難度設置非常重要。
- 未在冷啟動階段使用。
- 對于冷啟動模型而言是可學習的。
- 盡可能具有挑戰性。
- 涵蓋廣泛的子領域。
工具使用 (Tool Use)
工具使用指智能體調用并活用外部信息源、API、計算資源等的能力。這包括通過搜索引擎獲取信息、使用計算器或執行代碼、向其他模型發送查詢等，即與任務完成所需的所有外部工具進行交互。通過強化學習，智能體能夠從試錯中學會“何時、使用哪個工具、如何使用”。其發展大致分為三個階段。
圖像：工具使用發展圖示
ReAct 形式的工具使用
在智能體工具使用的早期階段，人們嘗試了基于提示的方法，如 ReAct [9]，以及通過 SFT 模仿學習工具使用過程來獲得工具使用能力的 Toolformer [10]。然而，模仿學習難以泛化到未曾學過的未知工具，缺乏靈活性。此外，準備工具使用歷史數據的成本也較高，因此，研究人員開始嘗試使用強化學習，通過基于結果的方式學習工具使用策略。
工具集成型強化學習 (Tool-Integrated RL)
在下一個階段，工具使用被深度整合到 LLM 的認知循環中，并出現了能夠跨越多個回合使用工具的智能體系統。智能體根據獎勵，通過強化學習來學習在何種情境下調用何種工具以及如何利用所獲得的信息。
例如，ReTool [11] 沒有像 DeepSeek-R1 那樣對復雜的數學問題進行基于文本的強化學習，而是通過強化學習提升了將 Python 代碼解釋器作為工具使用的能力，從而提高了正確率。這項研究首先通過 SFT 學習了基本的工具使用能力，然后通過強化學習，利用對最終答案的正確獎勵來學習工具使用策略。
圖像：ReTool：LLM 中戰略性工具使用的強化學習圖示
ReTool: Reinforcement Learning for Strategic Tool Use in LLMs (https://arxiv.org/abs/2504.11536)
幾乎同期發布的 ARTIST [12] 也采用了類似的方法，但 ARTIST 不僅針對數學任務，還在 BFCL v3 和 τ-bench等需要多步函數調用的基準測試中進行了評估。它在這些任務中通過反復進行推理和工具使用來生成最終答案，并通過強化學習，利用最終答案的正確獎勵以及工具調用成功獎勵來學習何時以及如何更好地使用工具。
圖像：ARTIST：通過強化學習實現 LLM 的智能體推理和工具集成圖示
Agentic Reasoning and Tool Integration for LLMs via Reinforcement Learning (https://arxiv.org/abs/2505.01441)
上述利用強化學習進行工具集成型推理的方法，不僅在研究領域，據說也已應用于 ChatGPT 的 Deep Research 和 OpenAI o3 等商業系統的微調中（具體應用方法不明）。
長期、多步的工具使用
未來的研究方向包括長期步驟中的工具協作，以及通過組合多個工具來解決復雜任務。
DeepSeek 發布的 GRPO 是一種對數學問題等一問一答型任務有效的強化學習算法，但它將一系列行動作為一個整體進行評估，因此在多步任務中難以判斷每個步驟的好壞，這是一個挑戰。
GiGPO [13] 為了解決這個問題，采用了一種名為 Group-in-Group Policy Optimization (GiGPO) 的方法，它在情節級別和步驟級別兩個分組結構中計算優勢值 (advantage，即衡量行動好壞的標準)。
圖像：GiGPO：用于 LLM 智能體訓練的組內組策略優化圖示
Group-in-Group Policy Optimization for LLM Agent Training (https://arxiv.org/abs/2505.10978)
內存（長期與短期記憶）
內存是指智能體保持和重用過去獲得的信息和經驗的能力。由于 LLM 自身的上下文窗口有限，智能體若要長期運行，就需要利用外部記憶（如知識庫或對話歷史）。針對這一挑戰，傳統方法包括使用檢索增強生成 (Retrieval-Augmented Generation, RAG) 進行搜索和參考，以及通過將對話歷史全部填入提示來擴展上下文窗口。然而，靜態檢索策略和手動設計的記憶更新可能無法針對特定任務優化信息檢索和遺忘。Agentic RL 通過強化學習來學習記憶哪些信息以及回憶什么信息。
RAG 形式的內存
作為通過強化學習優化 RAG 形式搜索機制的方法，Tan et al. (2025) [14] 提出的反射式記憶管理 (Reflective Memory Management, RMM) 中的追溯反射 (Retrospective Reflection) 是一個典型例子。該方法旨在解決傳統 RAG 的問題，即“搜索方法是固定的，不會根據對話上下文進行優化”。其步驟如下：
- 重排序器 (Reranker) 會篩選出由檢索器 (Retriever) 搜索到的記憶候選。
- LLM 在利用這些記憶生成響應時，會自我評估實際引用了哪些記憶。
- 對被引用的記憶給予正面獎勵 (+1)，對未被引用的記憶給予負面獎勵 (-1)，并更新重排序器的參數。
通過這一系列在線強化學習 (Online RL) 處理，重排序器能夠通過對話持續學習，更準確地選擇“LLM 真正需要的記憶”。
圖像：RMM：長期個性化對話智能體的反射式記憶管理圖示
In Prospect and Retrospect: Reflective Memory Management for Long-term Personalized Dialogue Agents (https://arxiv.org/abs/2503.08026)
上述例子展示了利用強化學習改善 RAG 搜索機制，而 Memory-R1 [15] 則利用強化學習來管理智能體的外部記憶。 Memory-R1 引入了兩個智能體：“記憶管理器 (Memory Manager)”和“回答智能體 (Answer Agent)”。記憶管理器學習“添加 (ADD)”、“更新 (UPDATE)”、“刪除 (DELETE)”和“不操作 (NOOP)”等記憶操作，而回答智能體則從檢索到的記憶中選擇最相關的記憶來生成答案。這兩個智能體的學習都使用了強化學習，其中記憶管理器的學習方法尤其值得關注。記憶管理器不會因其自身的行動獲得獎勵，而是根據回答智能體能否生成正確答案這一最終結果獲得獎勵，從而學習最優的記憶操作策略。這種自身的行動影響其他智能體的行動，并根據其結果進行學習的方式，是強化學習所獨有的，我認為這是一項有趣的研究。
圖像：Memory-R1：通過強化學習增強大模型智能體管理和利用記憶的能力圖示
Memory-R1: EnhancingLarge Language Model Agents to Manage and Utilize Memories via Reinforcement Learning (https://arxiv.org/abs/2508.19828)
Token 層級內存
這是一種不依賴 RAG 等外部記憶，而是 LLM 自身具備可學習記憶的方法。
MemAgent [16] 的目標是讓 LLM 能夠處理非常長的文本（數百萬個 token）。就像人類閱讀長篇文章時會做筆記一樣，MemAgent 將文本分塊并按順序閱讀，同時將必要信息寫入固定長度的“記憶”中以理解內容。這種記憶管理（即在有限的上下文長度中記憶什么）通過最終任務的成功獎勵由強化學習進行優化。MemAgent 的機制本身很有用，并且實驗結果表明有強化學習的 MemAgent 比沒有強化學習的 MemAgent 性能有所提升，這證實了強化學習的有效性。
圖像：MemAgent：通過多對話 RL 記憶智能體重塑長上下文 LLM 圖示
MemAgent: Reshaping Long-Context LLM with Multi-Conv RL-based Memory Agent (https://arxiv.org/abs/2507.02259)
規劃 (Planning)
規劃是指制定一系列行動以達成目標的能力。這是人類解決問題的核心技能，對于 LLM 智能體來說，“何時、做什么、以何種順序做” 的決策至關重要。早期的 LLM 智能體并非直接回答給定任務，而是嘗試采用例如 ReAct 等提示方法，讓 LLM 自身逐步生成 CoT 和行動候選。然而，這些基于提示技巧或少樣本示例的靜態規劃難以適應新情況，也難以通過試錯來改進策略。強化學習為此問題提供了一種途徑，即通過經驗學習規劃策略。
RAP [17] 通過蒙特卡洛樹搜索 (Monte Carlo Tree Search, MCTS) 實現了超越 CoT 的規劃能力。傳統的 CoT 生成線性思維過程，而 RAP 將 LLM 視作世界模型，利用MCTS 生成基于樹的思維過程（狀態）。通過預先探索選擇獎勵最高的推理路徑，RAP 實現了更魯棒的規劃，盡管推理時間有所增加。每個推理步驟的獎勵（評估值）采用了行動似然度、狀態置信度、自我評估以及與目標的接近程度等多個指標。盡管這不涉及微調，因此沒有使用強化學習，但仍值得關注。
圖像：RAP：語言模型推理即世界模型規劃圖示
Reasoningwith Language Model is Planning with World Model (https://arxiv.org/abs/2305.14992)---
自我改進 / 反思 (Self-Improvement / Reflection)
自我改進是指智能體回顧自身輸出或行動，糾正錯誤并優化策略的能力。LLM 通過提供自我反思和自我驗證的提示也可以提高回答準確率，但 Agentic RL 將其集成到智能體的內部循環中，并通過學習進行優化。
KnownSelf [18] 使得智能體在執行任務時，能夠自主回顧當前情況，并根據自身狀態，如“這個任務很簡單，可以快速完成 (Fastthinking)”、“有點難，先停下來重新思考 (Slow thinking)”、“我的能力無法解決，需要利用外部知識 (Knowledgeable thinking)”，自適應地切換思考過程和知識利用方式。
具體來說，它首先通過 SFT 學習將智能體生成的行動分類到三種思考模式中，然后通過 DPO (Direct Preference Optimization) 方法，使用兩組響應對數據集進行偏好微調。通過這個過程，KnownSelf 在 ALFWorld (智能體在家庭環境中操作物體) 任務和 WebShop (根據指令在網站上購物) 任務中都顯示出性能提升。
圖像：KnownSelf：智能體的知識自我意識圖示
Agentic Knowledgeable Self-awareness (https://arxiv.org/abs/2504.03553)
雖然方向略有不同于自我反思，但無需人工干預即可讓智能體自主學習的自我改進研究也在進展。
Absolute Zero [19] 是一個完全不依賴人類創建的任務或標簽，LLM 自主進行自我改進的框架。在這個框架中，LLM 扮演兩個角色：提議者 (Proposer) 負責提出問題，解決者 (Solver) 負責解決問題。解決者只有在解決提議者生成的問題并獲得正確答案時才能獲得獎勵 1。而提議者則在提出使解決者獎勵變小的問題時獲得高獎勵，即 。然而，如果問題過難或過易，則不利于自我改進，因此當 等于 0 或 1 時，提議者的獎勵也為 0。這讓我聯想到了 GAN (Generative Adversarial Network) 的結構。
圖像：Absolute Zero：零數據增強自博弈推理圖示
Absolute Zero: ReinforcedSelf-play Reasoning with Zero Data (https://arxiv.org/abs/2505.03335)
TTRL [20] 旨在通過在推理時（測試時）利用自我演化來提高性能，而無需正解標簽數據。具體來說，LLM 自身會生成多個回答，然后多數投票選擇得票最高的預測作為正解，從而創建偽正解數據。TTRL 將偽正解標簽與模型預測是否一致作為獎勵，并通過強化學習進行訓練，從而在無需人工標注的情況下提升模型的推理能力。僅從這一點來看，這似乎只是在微調模型，使其更容易選擇高票回答（即使概率分布更集中）。但實驗表明，經過 TTRL 在特定數學任務上訓練的模型，在其他不同的數學任務上也表現出性能提升，證實了其泛化能力的提高。
圖片
TTRL: Test-Time Reinforcement Learning (https://arxiv.org/abs/2504.16084)
感知 (Perception)
感知是指智能體理解和識別文本以外模態（圖像、音頻、真實世界傳感器數據等）的能力。受 LLM 推理增強強化學習成功的啟發，研究人員正在努力將這些成果應用到多模態學習中。
Vision-R1 [21] 旨在利用多模態大模型 (Multimodal Large Language Model, MLLM) 同時理解圖像和文本，并在數學幾何問題等復雜視覺推理任務中復現類似人類的深度思考過程。它采用了類似于 DeepSeek-R1 的方法，利用強化學習提升數學問題的推理能力，但其特點是結合了“DeepSeek-R1 的模仿學習”和“逐步思考抑制訓練”兩個階段的學習。
- 第一階段：模態橋接 (Modality Bridging) 和模仿學習：通過 MLLM 將視覺信息轉換為詳細的文本描述，然后將這些文本傳遞給 DeepSeek-R1，使其輸出詳細的 CoT。接著，將 DeepSeek-R1 的 CoT 作為正解標簽，對 MLLM 進行模仿學習，使其能夠穩定地生成基于視覺信息的 CoT。
- 第二階段：逐步思考抑制訓練：由于在第一階段結束后，CoT 越長性能越差，因此在第二階段中，通過限制思考長度并逐步增加，同時利用強化學習提升包括視覺信息在內的推理能力，進行逐步思考抑制訓練。
圖像：Vision-R1：激勵多模態大模型推理能力圖示
Vision-R1: Incentivizing Reasoning Capability in Multimodal Large Language Models (https://arxiv.org/abs/2503.06749)
OPENTHINKIMG [22] 利用強化學習來學習如何使用視覺工具解決視覺問題。
具體來說，VLM接收圖像和文本作為輸入，并通過操作諸如讀取圖表數值的 OCR 工具、放大圖像局部區域的縮放工具等視覺工具，來解決視覺問題。模型在環境中自由使用工具，將工具的使用結果作為視覺信息輸入，并通過最大化最終任務的對錯獎勵來更新策略。其中，將工具的視覺輸出直接作為模型下一個判斷依據這一點非常重要，這使得模型能夠理解自身行動在視覺上會產生何種結果，從而做出更明智的工具選擇。
圖像：OPENTHINKIMG：通過視覺工具強化學習學習思考圖像圖示
OPENTHINKIMG: Learning to Think with Images via Visual Tool Reinforcement Learning (https://arxiv.org/abs/2505.08617)
Visual Planning [23] 旨在讓模型像人類一樣在腦海中構思地圖或模擬家具擺放，通過圖像而非語言來制定任務計劃。模型從當前的圖像狀態生成多個下一圖像狀態的候選，并根據前后狀態的差異通過規則推斷出行動（如果是導航任務，則上下左右移動方向屬于行動）。通過重復這一步驟，并在接近目標時給予獎勵，模型能夠以圖像為基礎學習達成目標的行動計劃。
圖像：Visual Planning：讓我們只用圖像思考圖示
Visual Planning: Let’s Think Only with Images (https://arxiv.org/abs/2505.11409)
主要應用領域與代表性方法
Agentic RL 已開始應用于各種任務領域，本文列舉了以下應用領域。本節將介紹強化學習在各個智能體領域中的應用方式，并提供代表性的方法和研究實例。
- 搜索與調研智能體 (Search & Research Agents)
- 代碼智能體 (Code Agents)
- 數學智能體 (Math Agents)
- GUI 智能體 (GUI Agents)
- 多智能體系統 (Multi-Agents)
- 其他 (視覺、具身智能體) (Vision, Embodied Agents)
圖像：Agentic RL 應用領域圖示
搜索與調研智能體
搜索與調研智能體旨在利用外部知識庫和網絡搜索引擎，為用戶的問題或調研請求提供準確而全面的答案。
RAG (Retrieval-Augmented Generation) 廣泛用于賦予 LLM 搜索能力，但對于需要交替進行搜索和推理的復雜多輪任務，不進行學習的基于提示的方法存在局限性。因此，利用強化學習端到端地直接優化查詢生成、搜索和推理的研究正在取得進展。
其中一項主要研究是，在 RAG 基礎上，利用網絡搜索 API，通過強化學習優化查詢生成和多階段推理的方法。
search-R1 [24] 引入了 <think>（思考）、<search>（搜索查詢）、<information>（搜索結果）和 <answer>（回答）這四個特殊 token。它通過 PPO 或 GRPO 等強化學習算法，學習多次迭代思考和搜索，最終給出答案的過程。它將思考、搜索查詢和回答分別視為行動，并將最終答案是否正確作為獎勵，從而提升了搜索和推理兩種能力。此外，它通過避免對 <information>（搜索結果）進行損失計算，從而避免了學習搜索結果本身，這有助于學習的穩定性和性能提升。
圖像：search-R1：通過強化學習訓練 LLM 進行推理并利用搜索引擎圖示
Search-R1: Training LLMs to Reason and Leverage SearchEngines with Reinforcement Learning (https://arxiv.org/abs/2503.09516)
search-R1 的一個挑戰是，當搜索輪數增加時，單次學習所需時間會大幅增加，從學習效率的角度來看，需要將智能體的搜索輪數限制在 10 次以內。
ASearcher [25] 是 search-R1 的進一步發展。它通過構建一個將智能體行動與模型學習完全分離的異步學習系統，從而在并行處理多個搜索任務時提高了學習效率。這使得智能體能夠學習長達 128 輪的長時間探索。
圖像：ASearcher：超越十輪：通過大規模異步強化學習解鎖長時序智能體搜索圖示
Beyond Ten Turns: Unlocking Long-Horizon Agentic Search with Large-Scale Asynchronous RL (https://arxiv.org/abs/2508.07976)
上述直接利用外部網絡搜索 API 的方法存在兩個問題：一是網絡文檔質量可能會成為噪聲，導致學習不穩定；二是學習所需的 API 調用成本高昂。
ZeroSearch [26] 在有效利用外部搜索引擎的能力學習方面與上述方法相似，但其最大特點在于，在學習過程中完全不使用實際的搜索引擎（如 Google）。將 search-R1 和 ZeroSearch 的圖進行比較，會發現在執行智能體動作的 Rollout 模塊中，搜索引擎被替換為 SimulationLLM。通過這種方式，它利用另一個 LLM 模擬搜索引擎的行為，并在模擬環境中學習 LLM 的搜索和推理能力。結果表明，ZeroSearch 能夠在遠低于實際搜索引擎學習模型的成本下，實現同等甚至更優的性能。LLM 能否模擬搜索引擎這一點讓人有些疑問，但它能成功運作令人覺得不可思議，我認為這是一項有趣的研究。
圖像：ZeroSearch：在不搜索的情況下激勵 LLM 的搜索能力圖示
ZEROSEARCH: Incentivize the Search Capability of LLMs without Searching (https://arxiv.org/abs/2505.04588)
代碼智能體
代碼智能體是指專門用于編碼任務的智能體，如 OpenAI的 Codex 和 Anthropic 的 Claude Code。本文將代碼智能體任務大致分為三類：單輪代碼生成、多輪代碼改進和軟件工程自動化。本文將重點關注能夠自主進行軟件工程的更具挑戰性的智能體研究。
軟件工程是一個涉及讀取、修改、添加代碼，以及利用外部工具（編譯器、Linter、版本控制、Shell）和通過測試驗證結果等復雜且長期分步的任務。在這種場景下，智能體能力至關重要，因此利用強化學習提升智能體能力的研究正在取得進展。
SWE-RL [27] 構建了一個強化學習數據集，它從 GitHub 的 460 萬個公開倉庫中，按時間順序收集了 issue、pull request 和 review comments。
這項研究的關鍵在于，它無需復雜的模擬器或執行環境，而是通過 Python 的 difflib.SequenceMatcher 類（用于計算字符串差異的相似度）來計算智能體生成的修正代碼 與人類編寫的正確代碼 之間的獎勵。這使得對海量數據進行輕量級且可擴展的強化學習成為可能。
此外，SWE-RL 還表明，盡管它僅在軟件錯誤修復這一特定任務上進行了訓練，其在訓練過程中獲得的推理能力卻能提升在數學、通用編碼和語言理解等完全不同領域的任務的性能。
圖像：SWE-RL：通過開放軟件進化的強化學習推進 LLM 推理圖示
SWE-RL: Advancing LLM Reasoning via Reinforcement Learning on Open Software Evolution (https://arxiv.org/abs/2502.18449)
SWE-RL 不需要代碼執行環境，而另一些研究則利用實際的代碼執行環境進行強化學習。
Qwen3 Coder [28] 通過搭建代碼執行環境，利用測試結果和錯誤信息等可驗證的獎勵進行強化學習，以提升編碼能力。在代碼執行環境方面，它利用阿里云構建了可并行執行 2 萬個獨立環境的系統，從而實現了大規模的強化學習。最終，它在處理軟件工程任務的 SWE-Bench Verified 基準測試中，達到了開源模型中的最高水平性能。
圖像：Qwen3-Coder：世界中的智能體編碼圖示
Qwen3-Coder: Agentic Coding in the World (https://qwen.ai/blog?id=d927d7d2e59d059045ce758ded34f98c0186d2d7&from=research.research-list)
數學智能體
數學推理因其符號抽象性、邏輯一致性以及需要長期演繹的性質，被認為是評估 LLM 智能體推理能力的關鍵標準。在智能體核心能力部分介紹的許多研究中，也都關注了數學任務的性能。
rStar2-Agent [29] 針對困難數學任務，通過純粹的 Agentic RL 方法，在沒有推理數據 SFT 的情況下，以 14B 參數實現了超越 671B 的 DeepSeek-R1-Zero 的性能和學習效率。這項研究的特點在于，它像工具使用章節介紹的 ReTool 一樣，利用 Python 執行環境作為工具進行工具集成型推理，并引入了一種名為 “Resample on Correct (RoC)” 的技術，即在多次 Rollout 生成的候選答案中，優先采樣沒有過多工具調用錯誤的優質成功案例進行學習。
圖像：rStar2-Agent：智能體推理技術報告圖示
rStar2-Agent: Agentic Reasoning Technical Report (https://arxiv.org/abs/2508.20722)
1Shot-RLVR [30] 證明了僅使用一個訓練示例的強化學習在提升數學推理能力方面是有效的。具體而言，它對基礎模型 Qwen2.5-Math-1.5B 應用一個訓練示例，就在 MATH500 基準測試中將性能從 36.0% 大幅提升到 73.6%，并在六個主要數學推理基準測試中平均從 17.6% 提升到 35.7%。這表明，即使使用少量數據，也能有效地激活 LLM 的推理能力，達到甚至超越使用數千個示例數據集時的性能。
圖像：1Shot-RLVR：僅用一個訓練示例對大模型進行推理強化學習圖示
Reinforcement Learning for Reasoning in Large Language Models with One Training Example (https://arxiv.org/abs/2504.20571)
GUI 智能體
GUI 智能體是指能夠自主執行網頁瀏覽、應用程序操作等任務的智能體。研究早期，人們提出了利用視覺語言模型 (VLM) 輸入屏幕截圖和提示，進行單步 GUI 操作的方法。隨后，又嘗試了基于人類 GUI 操作記錄，利用屏幕（狀態）和 GUI 操作（行動）的軌跡數據進行 GUI 操作模仿學習的方法。然而，模仿學習面臨著人類 GUI 操作記錄數據集匱乏的挑戰。在這種背景下，利用強化學習進行基于結果的學習研究正在取得進展。
UI-TARS [31] 實現了高度通用性，能夠像人類一樣僅憑GUI 屏幕截圖信息，統一操作 OS、Web、移動應用等各種 GUI 環境。它讓智能體在眾多虛擬機上實際運行，自動收集新的操作數據（軌跡），并從中識別失敗的操作和修正后的正確操作對。然后，利用 DPO (Direct Preference Optimization) 方法，對模型進行調優，使其能夠“從失敗中學習”。
圖像：UI-TARS：開創性的自動化 GUI 交互與原生智能體圖示
UI-TARS: Pioneering Automated GUI Interaction with Native Agents (https://arxiv.org/abs/2501.12326)
具身智能體 (Embodied Agents)
具身智能體是指像機器人一樣，在物理環境中根據多模態信息執行物理行動的智能體。通常采用的方法是，通過視覺語言行動 (Vision-Language Action, VLA) 模型進行模仿學習預訓練，然后將預訓練模型集成到交互式智能體中，使其與環境互動，并通過強化學習提高模型在各種真實世界環境中的泛化能力。VLA框架中的強化學習主要分為兩類：注重復雜環境中空間推理和移動的導航智能體，以及專注于在多樣動態約束下精確控制物理對象的操作智能體。
- 導航智能體
對于導航智能體而言，規劃是其核心能力。強化學習被用來增強 VLA 模型預測和優化未來行動序列的能力。通常的策略是，對 VLA 模型進行訓練，使其像預訓練模型一樣，對每一步移動行動給予獎勵。VLN-R1 [32] 通過 SFT 和強化學習，訓練一個以 RGB 視頻圖像為輸入，輸出前進、旋轉等離散動作的模型。該模型一次輸出 6 步的行動軌跡，并采用一種獨特的獎勵設計，稱為時間衰減獎勵 (time decay reward)，即對較近期的行動給予更高的獎勵。
圖像：VLN-R1：通過強化微調進行視覺語言導航圖示
- VLN-R1: Vision-LanguageNavigation via Reinforcement Fine-Tuning (https://arxiv.org/abs/2506.17221)
- 操作智能體
操作智能體主要用于涉及機器人手臂的任務。強化學習被用來增強 VLA 模型的指令遵循能力和軌跡預測能力，特別是為了提高模型跨任務和環境的泛化性能。VLA-RL [33] 將機器人的一系列動作生成重新構想為人機對話。在每個時間步，機器人接收“當前視覺信息（圖像）”和“人類指令（文本）”作為輸入，并以語言 token 形式輸出接下來要執行的行動。這使得強大的語言模型結構能夠直接應用于強化學習。
圖像：VLA-RL：通過可擴展強化學習實現精湛且通用的機器人操作圖示
- VLA-RL: Towards Masterful and General Robotic Manipulation with Scalable Reinforcement Learning (https://arxiv.org/abs/2505.18719)
結語
Agentic RL 在 2025 年以來發展迅速，本文介紹的許多研究也都是在 2025 年發表的。我非常期待 Agentic RL 未來如何在進一步提升 AI 智能體性能方面發揮作用。雖然篇幅不短，但感謝各位閱讀到最后。
引用
- The Landscape of Agentic Reinforcement Learning for LLMs: A Survey??
- DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning??
- Direct Preference Optimization: Your LanguageModel is Secretly a Reward Model??
- OpenAI o1 System Card??05. Introducing deep research??
- OpenAI o3 and o4-mini System Card??
- DAPO:An Open-Source LLM Reinforcement Learning System at Scale??
- Qwen3 Technical Report??09.ReAct: Synergizing Reasoning and Acting in Language Models??
- Toolformer: Language Models Can Teach Themselves to Use Tools??
- ReTool: Reinforcement Learning for Strategic Tool Use in LLMs??
- Agentic Reasoning and Tool Integration for LLMs via Reinforcement Learning??
- Group-in-Group Policy Optimization for LLM Agent Training??
- In Prospect and Retrospect: Reflective Memory Management for Long-term Personalized Dialogue Agents??
- Memory-R1: Enhancing Large Language ModelAgents to Manage and Utilize Memories via Reinforcement Learning??
- MemAgent: Reshaping Long-Context LLM with Multi-Conv RL-based Memory Agent??
- Reasoning with Language Model is Planning with World Model??
- Agentic Knowledgeable Self-awareness??
- Absolute Zero: Reinforced Self-play Reasoning with Zero Data??
- TTRL: Test-Time Reinforcement Learning??
- Vision-R1: Incentivizing Reasoning Capability in Multimodal Large Language Models??
- OPENTHINKIMG: Learning to Think with Images via Visual Tool Reinforcement Learning??
- Visual Planning:Let’s Think Only with Images??
- Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning??
- Beyond Ten Turns: Unlocking Long-Horizon Agentic Search with Large-Scale Asynchronous RL??
- ZEROSEARCH: Incentivize the Search Capability of LLMs without Searching??
- SWE-RL: Advancing LLM Reasoning via Reinforcement Learning on Open Software Evolution??
- Qwen3-Coder: Agentic Coding in the World??
- rStar2-Agent: Agentic Reasoning Technical Report??
- Reinforcement Learning for Reasoning in Large Language Models with One Training Example??
- UI-TARS: Pioneering Automated GUI Interaction with Native Agents??
- VLN-R1: Vision-Language Navigation via Reinforcement Fine-Tuning??
- VLA-RL: Towards Masterful and General Robotic Manipulation with Scalable Reinforcement Learning??
