計算效率提升8倍！復旦黃萱菁教授團隊提出AgentPRM：重新定義智能體過程獎勵
智能體任務本質上具有動態性和上下文敏感性，這與傳統的靜態任務有所不同，在這些任務中取得良好表現需要模型不僅能夠理解與任務相關的知識并解釋環境線索，還需要進行前瞻性規劃以預見到其決策的未來后果。當前大語言模型在智能體任務中仍面臨挑戰，即每個動作缺乏明確的“正確性”，且決策存在序列依賴。
為此，螞蟻集團提出 AgentPRM，一種面向智能體任務的過程獎勵模型（PRM），通過評估每步決策對最終目標的貢獻并捕捉決策間的依賴關系，實現更有效的進度追蹤和探索-利用平衡。為高效獲取訓練數據，采用基于時序差分（TD）結合廣義優勢估計（GAE）的自動化方法。實驗顯示，使用Qwen2.5?3B時，AgentPRM在多任務上比基線方法計算效率提升超過8倍，同時在擴展推理計算時仍保持穩定、魯棒的性能改進。
- 論文標題：AgentPRM: Process Reward Models for LLM Agents viaStep-Wise Promise and Progress
- 論文鏈接： https://arxiv.org/pdf/2511.08325
一、方法
AgentPRM的核心思想是評估每一步到目標狀態的接近程度，并跟蹤LLM所取得的進展。
圖1：AgentPRM與基線方法的比較，以及Best-of-N結果
圖 2：AgentPRM的訓練和應用概述
（1）AgentPRM：重新定義LLM智能體的過程獎勵
1）利用值函數評估未來成功可能性的期望
為評估一個決策是否將狀態更接近目標，定義狀態值函數??(????)：
其中，????(????,????)衡量強化學習中基于狀態????執行特定動作????后的預期未來成功概率。
然后利用
數據集來訓練一個模型
，使用均方誤差（MSE）損失來預測動作值。
訓練完成后，基于模型
的預測結果，可以進行推理時搜索或 Best-of-N（BoN）采樣。
2）利用優勢函數捕獲步驟間的依賴關系
上述
僅衡量動作對最終目標的潛在貢獻，而忽略了狀態或決策之間的連續依賴關系，未能反映實際進展。這容易導致過度利用、探索不足，從而阻礙智能體達成目標。而RL中優勢函數量化了某一動作所帶來的成功概率相對于基準的相對提升。
研究團隊進一步引入了一個獨特的損失項來擬合優勢：
其中
表示標注的優勢標簽。
因為智能體任務具有稀疏獎勵，即在任何時間步?? < ??， r?? = 0 （其中?? 是最終時間步），所以優勢損失L??(??)的損失項變為：
最終，AgentPRM的損失為：
不僅考慮對最終結果的貢獻，還考慮相鄰動作之間的依賴關系，其中??是一個平衡兩個損失項的縮放因子。
（2）AgentPRM的實際訓練方式
訓練AgentPRM所需的"真實"價值標簽并不容易獲得，必須進行估計。為獲取可靠的訓練數據，研究團隊聚焦于改進底層的動作價值函數估計方式，提出了基于時序差分（TD）并結合廣義優勢估計（GAE）的新方法。
首先， 定義動作的TD誤差如下：
其中,rt是時間步t的即時獎勵，接下來，給定一個軌跡
使用GAE估計不同動作的優勢：
其中??是折扣因子。最終，當前估計的 
可以表示為：
其中??<??。對于終止步驟??=??，目標動作值
直接定義為從環境中獲得的最終結果獎勵。
該訓練方式提供兩大主要優勢：
- 從效率角度來看，基于TD的估計結合GAE不需要像基于 MC的方法那樣從每個狀態進行額外的rollout，從而節省了大量計算資源。
- 從性能角度來看，盡管基于TD的方法存在高方差問題，但是引入GAE后降低了方差并提高了穩定性，最終實現了更好的性能。
二、評估
(1)主要結果
1）與貪心解碼相比，引入獎勵模型用于 BoN采樣和搜索可以提升大模型在智能體任務上的表現。
實驗結果如表1和圖3所示。與采用貪心解碼的SFT和RFT方法相比，引入獎勵模型用于BoN采樣與搜索策略顯著提升了模型性能，且隨著推理時計算量的增加，性能進一步增強。
表1 基于訓練的方法和基于獎勵模型的束搜索在智能體任務上的評估結果
圖片
圖3 Best-of-N 評估的性能
2）AgentPRM 比其他獎勵模型具有更高的計算效率，且在 BoN 采樣和測試時搜索中始終表現更優。
圖1（右上）顯示，平均而言，AgentPRM 的計算效率比 PVMs 和 ORMs 高出約8倍。這凸顯了 AgentPRM 在訓練更強的大語言模型智能體方面的潛力，例如結合強化學習等方法。
如圖3所示，在不同采樣預算的 BoN 評估下，本文方法方法在各類任務上均持續優于 ORMs和PVMs，充分驗證了其有效性。如表1所示，在束搜索中，該方法同樣在不同任務上顯著超越 ORMs 和 PVMs，證明了其在引導模型搜索、實現良好探索與利用平衡方面的能力。例如，在 WebShop 任務上使用 Qwen2.5-3B 模型并采用 8×8 采樣搜索設置時，比 PVM 高出超過 20 個點。
3）隨著推理計算資源的增加，AgentPRM 表現出更穩健、更穩定的性能提升趨勢。
如圖1和圖3所示，隨著采樣預算的增大，PVMs 和 ORMs 往往出現性能瓶頸，甚至性能下降，這些問題可能會限制它們在未來基于強化學習和自我改進方法中訓練更強智能體的有效性。相比之下，AgentPRM 始終展現出持續穩定的性能提升，凸顯了其魯棒性，并展現出在未來應用中的廣闊前景。
（2）將AgentPRM應用于強化學習
為評估本文獎勵模型的有效性，將其集成到強化學習優化過程中。在 BabyAI 和 TextCraft 任務上使用 Qwen2.5-3B 模型進行實驗，并采用廣泛應用的近端策略優化（Proximal Policy Optimization, PPO）算法。如圖 5 所示，其他基線獎勵模型在優化過程中面臨訓練不穩定或性能提升緩慢的問題，AgentPRM 實現了更穩定且高效的優化，顯著優于基線方法。
圖5 RL 優化的任務得分
（3）數學推理性能
為了驗證方法的通用性，在數學推理任務上也進行了實驗。使用 GSM8K 數據集，結果如圖6和表2顯示，AgentPRM在數學推理任務上依然顯著優于其他基線，體現出良好的泛化能力和適應性，未來計劃將其拓展到代碼生成、邏輯推理等更多任務中。
圖6 數學推理任務上的 Best-of-N 結果
表2 數學推理任務中束搜索的評估結果
圖片
