在大語言模型（LLM）與強化學(xué)習(xí)（RL）深度融合的浪潮中，后訓(xùn)練階段通常采用基于策略梯度的方法，如近端策略優(yōu)化（PPO），以提升模型的推理能力。然而，傳統(tǒng)PPO采用對稱的actor-critic架構(gòu)，即critic（價值函數(shù)）與actor（策略模型）規(guī)模相當(dāng)，這在LLM尺度下帶來巨大的計算開銷和訓(xùn)練不穩(wěn)定問題。近年來，無critic的RLVR（Reinforcement Learning for LLM Reasoning）范式逐漸成為主流，例如GRPO（Group Policy Optimization）通過平均優(yōu)勢基線替代critic，簡化了訓(xùn)練流程，但犧牲了價值估計的魯棒性。這種趨勢引發(fā)了一個核心問題：「是否真的需要一個與策略模型規(guī)模相當(dāng)?shù)摹熬扌蚦ritic”？能否通過輕量化設(shè)計重新激發(fā)PPO的潛力？」

阿里巴巴ROLL團(tuán)隊、香港科技大學(xué)和Mila的最新研究《Asymmetric Proximal Policy Optimization: Mini-Critics Boost LLM Reasoning》（arXiv:2510.01656v3, 2025）對此給出了否定答案。論文提出的「Asymmetric PPO（AsyPPO)」 框架，首次系統(tǒng)性揭示了critic的參數(shù)規(guī)模與其價值估計能力并無必然關(guān)聯(lián)，通過一組輕量化的“mini-critics”實現(xiàn)了高效、穩(wěn)定的RL4LLM訓(xùn)練。本文將從背景、方法、實驗到最新趨勢，深度解讀這一突破性工作。

一、背景：RL4LLM的瓶頸與Critic的失落

傳統(tǒng)PPO在游戲、機(jī)器人控制等領(lǐng)域表現(xiàn)卓越，但其對稱架構(gòu)在LLM尺度下面臨嚴(yán)峻挑戰(zhàn)。LLM的規(guī)模通常達(dá)數(shù)十億參數(shù)，直接應(yīng)用PPO會導(dǎo)致：

• 「計算開銷巨大」：訓(xùn)練與actor規(guī)模相當(dāng)?shù)腸ritic需要大量GPU內(nèi)存和時間。
• 「稀疏獎勵問題」：長推理鏈中獎勵稀疏，critic難以準(zhǔn)確估計狀態(tài)價值。
• 「訓(xùn)練不穩(wěn)定」：價值估計偏差易導(dǎo)致策略崩潰。

因此，RL4LLM社區(qū)轉(zhuǎn)向無critic方法，如GRPO、DAPO等，使用分組采樣或平均優(yōu)勢基線簡化估計。但這類方法放棄了RL的核心思想——「魯棒的價值估計能緩解優(yōu)勢偏差帶來的訓(xùn)練崩潰」。論文指出，這本質(zhì)上是架構(gòu)問題而非算法局限，并質(zhì)疑：能否通過不對稱設(shè)計實現(xiàn)輕量且魯棒的價值估計？

Figure 1直觀展示了問題：經(jīng)典PPO（對稱架構(gòu)）在LLM訓(xùn)練中效率低下，而AsyPPO在恢復(fù)critic作用的同時，保持了輕量級開銷。這為重新思考架構(gòu)提供了動機(jī)。

二、AsyPPO方法詳解：輕量化Critic與不確定性感知優(yōu)化

AsyPPO的核心創(chuàng)新在于兩大組件：「輕量化mini-critics集合」和「基于不確定性的策略損失重構(gòu)」。下面我們逐步解析。

1. 輕量化價值估計：從單小Critic到多樣性Ensemble

論文首先驗證了不對稱架構(gòu)的可行性：即使小如Qwen3-0.6B的critic，也能為Qwen3-8B的actor提供有效指導(dǎo)（Figure 3左），這得益于預(yù)訓(xùn)練模型提供的豐富表示能力。但單小critic受限于稀疏獎勵和長尾推理軌跡，價值估計不準(zhǔn)確，性能不及對稱PPO。

「關(guān)鍵突破點」：通過ensemble提升估計魯棒性。然而，直接使用多個小critic（如兩個Qwen3-0.6B）效果有限，因為它們從相同預(yù)訓(xùn)練 checkpoint 初始化，訓(xùn)練數(shù)據(jù)重疊，導(dǎo)致行為同質(zhì)化（Figure 3中右）。為此，論文提出了「組級非重疊數(shù)據(jù)分區(qū)策略」：

• 將訓(xùn)練數(shù)據(jù)（如5000個樣本）按提示（prompt）均勻劃分為不重疊子集，每個critic僅訓(xùn)練于其分配的子集。
• 這確保了每個critic接觸不同的獎勵分布和軌跡，促進(jìn)功能多樣性，同時保持對同一提示的感知同步。

Formally，設(shè)M個mini-critics，參數(shù)為{φ_m}，每個訓(xùn)練于子集D_m，價值損失為：

實驗顯示，雙critic（M=2）是效率與性能的平衡點（Figure 9b），進(jìn)一步增加critic數(shù)量收益遞減。

Figure 4從語言學(xué)角度證實，ensemble校正后的價值估計鼓勵策略學(xué)習(xí)核心推理模式，如邏輯連接詞（“therefore”）的出現(xiàn)頻率提升。

2. 策略損失重構(gòu)：利用Critic不確定性優(yōu)化探索

AsyPPO的第二個創(chuàng)新是「將critic間的不確定性作為信號優(yōu)化策略損失」。具體地，critic價值估計的標(biāo)準(zhǔn)差（value-std）反映了狀態(tài)的信息量：

• 「低value-std（高一致性）」：狀態(tài)動態(tài)被充分建模，樣本信息量低，易導(dǎo)致過擬合。
• 「高value-std（高分歧）」：狀態(tài)與最終獎勵耦合弱，可能對應(yīng)推理無關(guān)模式（如副詞、感嘆詞），探索意義小。

基于此，論文重構(gòu)了PPO損失：

• 「優(yōu)勢掩碼（Advantage Masking）」：對value-std最低的k%狀態(tài)（如20%），掩碼其優(yōu)勢值，避免對低信息量樣本的過擬合。
• 「熵過濾（Entropy Filtering）」：對value-std最高的h%狀態(tài)（如20%），從熵正則化中過濾，抑制虛假探索。

重構(gòu)后的損失函數(shù)為：

其中掩碼指標(biāo)I_t^A和過濾指標(biāo)I_t^{\mathcal{H}}基于value-std σ_t設(shè)定。

Figure 5顯示，在高效樣本復(fù)用（UTD=4）下，優(yōu)勢掩碼顯著提升樣本效率（約6點增益），且value-std掩碼效果優(yōu)于熵掩碼。Figure 6進(jìn)一步揭示低value-std狀態(tài)與低熵高度相關(guān)，驗證了value-std作為不確定性度量的精確性。

熵過濾機(jī)制同樣關(guān)鍵：Figure 7表明，過濾高value-std狀態(tài)后，策略熵保持穩(wěn)定，避免了樸素熵正則化導(dǎo)致的崩潰（約7%提升）。統(tǒng)計顯示，被過濾的token多為推理無關(guān)詞匯（如副詞“very”），強化了探索的安全性。

三、實驗結(jié)果：輕量化設(shè)計解鎖大型模型推理能力

論文在多個數(shù)學(xué)推理基準(zhǔn)（如MATH-500、OlympiadBench）上驗證了AsyPPO，使用開源數(shù)據(jù)（僅5000樣本），演員模型涵蓋Qwen3-4B/8B/14B。

1. 泛化到大型模型（RQ1）

Figure 8顯示，AsyPPO（雙4B critics）在Qwen3-14B演員上相比GRPO提升約3%準(zhǔn)確率，且內(nèi)存開銷降低20%。單小critic（如1.7B）無法可靠指導(dǎo)14B演員，但AsyPPO通過ensemble突破了這一限制，彰顯了輕量化設(shè)計的威力。

2. 消融研究（RQ2&3）

• 「Critic規(guī)模與數(shù)量」：Figure 9a顯示，critic規(guī)模擴(kuò)大（如從0.6B到4B）帶來性能提升，符合縮放定律；但雙critic已足夠（Figure 9b），更多critic收益不顯著。
• 「超參數(shù)敏感性」：優(yōu)勢掩碼比例20%（Figure 10左）、熵過濾比例20%（Figure 10中右）為最優(yōu)平衡點。

四、結(jié)合最新背景與未來展望

AsyPPO的提出正值RL4LLM技術(shù)快速演進(jìn)期。2025年以來，無critic方法如GRPO、DAPO主導(dǎo)業(yè)界，但批評聲漸起：Yuan等人（2025b）指出衰減因子不適用于長鏈推理，Yue等人（2025）嘗試增強critic魯棒性。AsyPPO通過架構(gòu)創(chuàng)新回應(yīng)了這些挑戰(zhàn)，與同期工作如T-PPO（異步設(shè)置）、Implicit PRM（隱式獎勵模型）形成互補。

「最新趨勢聯(lián)系」：

• 「輕量化部署需求」：隨著模型規(guī)模爆炸（如GPT-4o、Llama 3），計算效率成為核心瓶頸。AsyPPO的異步設(shè)計為邊緣設(shè)備部署RL4LLM提供了可能。
• 「不確定性感知RL」：論文的價值std機(jī)制與經(jīng)典RL的Bootstrapped DQN思想一脈相承，但適配了LLM特性。
• 「開源生態(tài)推動」：論文基于ROLL框架實現(xiàn)，強調(diào)可復(fù)現(xiàn)性，契合開源社區(qū)對透明算法的需求。

「局限與未來工作」：實驗限于Qwen3系列，未來需擴(kuò)展至Llama等模型；生成長度固定為8k token，超長推理下的泛化性待驗證。展望中，論文提出多個方向：異質(zhì)critic ensemble、超參數(shù)對校準(zhǔn)的影響、置信加權(quán)估計等。

五、結(jié)論

AsyPPO成功將RL4LLM的critic瓶頸重新定義為架構(gòu)問題，通過雙輕量化mini-critics和數(shù)據(jù)分區(qū)策略，實現(xiàn)了魯棒價值估計和高效訓(xùn)練。其不確定性感知損失重構(gòu)進(jìn)一步提升了樣本效率和探索安全性。實驗證明，該方法在多個基準(zhǔn)上穩(wěn)定提升性能，同時降低計算開銷，為RL4LLM的未來發(fā)展開辟了新路徑。在大型模型技術(shù)日新月異的背景下，這種輕量化設(shè)計有望成為后訓(xùn)練階段的標(biāo)準(zhǔn)工具之一。

通過本文的深度解讀，我們可以看到，AsyPPO不僅是技術(shù)上的突破，更是一種范式轉(zhuǎn)變：它證明在LLM時代，輕量化設(shè)計能釋放傳統(tǒng)RL算法的潛力，為AGI的推理能力優(yōu)化提供了可持續(xù)路徑。

本文轉(zhuǎn)載自???AIGC深一度??，作者：一度