本文主要作者是呂昂和謝若冰。呂昂，中國人民大學(xué)博士生，研究方向?yàn)檎Z言模型結(jié)構(gòu)優(yōu)化，導(dǎo)師為嚴(yán)睿教授；謝若冰，騰訊高級研究員，研究方向?yàn)榇笳Z言模型、推薦系統(tǒng)。

最近的一篇論文中，來自人大和騰訊的研究者們的研究表明，語言模型對強(qiáng)化學(xué)習(xí)中的獎勵(lì)噪音具有魯棒性，即使翻轉(zhuǎn)相當(dāng)一部分的獎勵(lì)（例如，正確答案得 0 分，錯(cuò)誤答案得 1 分），也不會顯著影響下游任務(wù)的表現(xiàn)。

研究者解釋道，強(qiáng)化學(xué)習(xí)對下游任務(wù)的提升，關(guān)鍵不僅在于獎勵(lì)的準(zhǔn)確性，而更在于模型是否能夠產(chǎn)生高質(zhì)量的思考過程。僅通過獎勵(lì)模型輸出中關(guān)鍵思考詞的出現(xiàn)頻率，而非基于答案正確性的獎勵(lì)，語言模型依然能夠在下游任務(wù)中取得非常高的峰值表現(xiàn)。這表明，強(qiáng)化學(xué)習(xí)對下游任務(wù)的提升，更多來源于讓模型學(xué)會采用恰當(dāng)?shù)乃伎悸窂浇咏_答案。而相關(guān)的解題基礎(chǔ)能力，模型已在預(yù)訓(xùn)練階段獲得。因此，預(yù)訓(xùn)練階段的能力提升依然至關(guān)重要。

研究者還展示了基于思考模式的極簡獎勵(lì)如何有效校準(zhǔn)獎勵(lì)模型，從而在開放性 NLP 任務(wù)中增強(qiáng)語言模型的表現(xiàn)，并使較小的模型也能通過強(qiáng)化學(xué)習(xí)成功獲得思考能力。

• 論文地址：https://huggingface.co/papers/2505.22653
• 代碼鏈接：https://github.com/trestad/Noisy-Rewards-in-Learning-to-Reason

論文概覽

作者們首先研究了數(shù)學(xué)任務(wù)中獎勵(lì)噪音對語言模型的影響，因?yàn)閿?shù)學(xué)任務(wù)使用簡單的規(guī)則校驗(yàn)，根據(jù)答案的正確性進(jìn)行獎勵(lì)，這使得人為控制獎勵(lì)噪音變得非常簡單（例如，通過將基于答案正確性的獎勵(lì)函數(shù)結(jié)果進(jìn)行 p% 的反轉(zhuǎn)，正確答案得 0 分，錯(cuò)誤答案得 1 分），從而便于研究。在訓(xùn)練 Qwen-2.5-7B 模型時(shí)，實(shí)驗(yàn)發(fā)現(xiàn)即使 p 值非常高，模型在下游任務(wù)中的表現(xiàn)幾乎沒有下降。只有當(dāng) p 值達(dá)到 50%（即完全隨機(jī)獎勵(lì)）時(shí)，訓(xùn)練效果才開始崩潰。這一現(xiàn)象引發(fā)了一個(gè)重要問題：為何即便模型給出錯(cuò)誤答案并且得到獎勵(lì)，訓(xùn)練效果依然保持不變？

圖 1：使用不同程度獎勵(lì)反轉(zhuǎn)后的 Qwen-2.5-7B 在 MATH-500 數(shù)據(jù)集上的準(zhǔn)確率變化，橫軸為訓(xùn)練步數(shù)。

針對這一現(xiàn)象，作者提出了一種可能的解釋：盡管答案錯(cuò)誤，輸出中的某些信息依然為模型的輸出提供了獎勵(lì)的價(jià)值。研究者認(rèn)為，這些有價(jià)值的信息反映在模型的思考過程上。當(dāng)模型生成諸如「First, I need to」，「second, I will」，「given these factors」，「finally」等思考模式時(shí)，無論最終答案是否正確，這一思考過程本身值得獎勵(lì)。

為了驗(yàn)證這一假設(shè)，作者統(tǒng)計(jì)了在沒有噪聲獎勵(lì)訓(xùn)練（即 p=0）的情況下，Qwen-2.5-7B 在數(shù)學(xué)任務(wù)中輸出的高頻思考關(guān)鍵詞，并設(shè)計(jì)了一種非常簡單的獎勵(lì)機(jī)制 ——Reasoning Pattern Reward（RPR）。每當(dāng)模型輸出包含這些高頻思考關(guān)鍵詞時(shí)，便根據(jù)出現(xiàn)頻次給予相應(yīng)獎勵(lì)，頻次越高，獎勵(lì)越大。

圖 2: RPR 示意

僅使用 RPR 機(jī)制，完全不考慮答案的正確性，Qwen-2.5-7B 仍然能夠在 MATH-500 數(shù)據(jù)集上將準(zhǔn)確率從 5% 提升至 70% 以上。盡管在后續(xù)訓(xùn)練中準(zhǔn)確率有所下降，作者通過案例研究指出，這一下降源于 RPR 使得模型在獲得正確答案后「過度思考」，從而導(dǎo)致輸出超長無法提取正確答案。作者承認(rèn)，僅使用 RPR 而不使用其他答案校驗(yàn)獎勵(lì)可能會被模型「hack」并產(chǎn)生問題，但他們強(qiáng)調(diào)，此實(shí)驗(yàn)的目的是證明思考模式在能力提升中的重要性，而非為了獲得最好的結(jié)果。

這一實(shí)驗(yàn)表明，強(qiáng)化學(xué)習(xí)中，語言模型的提升主要源自輸出格式的轉(zhuǎn)變而非新知識的獲取：模型在 RL 期間采樣到具有良好思維模式的輸出，而這種思維模式能夠提高模型逐 token 接近正確答案的概率。

以上基于獎勵(lì)函數(shù)的實(shí)驗(yàn)結(jié)果讓作者們意識到，這一發(fā)現(xiàn)也許對于基于獎勵(lì)模型（reward model）的強(qiáng)化學(xué)習(xí)后訓(xùn)練具有重要啟示：由于獎勵(lì)模型通常并不完美，輸出中往往會包含噪聲。如果語言模型能夠在開放性任務(wù)中保持對獎勵(lì)模型輸出噪聲的魯棒性，那么我們或許不必過于追求極度精準(zhǔn)的獎勵(lì)模型，確保其「足夠好」即可。

為驗(yàn)證這一點(diǎn)，作者在 Nvidia-HelpSteer3 數(shù)據(jù)集（一個(gè)多領(lǐng)域 AI 幫助性回復(fù)生成任務(wù)）上進(jìn)行了實(shí)驗(yàn)。通過控制訓(xùn)練步數(shù)，訓(xùn)練了不同準(zhǔn)確率的獎勵(lì)模型，并用這些模型訓(xùn)練 Qwen-2.5-7B。作者認(rèn)為獎勵(lì)模型的準(zhǔn)確率與其提供的獎勵(lì)噪聲呈負(fù)相關(guān)關(guān)系，即獎勵(lì)模型準(zhǔn)確率越高，獎勵(lì)噪聲越低。模型在測試集上輸出的回復(fù)由人類 + GPT-4o 判斷幫助性、信息度、與綜合質(zhì)量。

圖 3: 獎勵(lì)模型在 HelpSteer3 訓(xùn)練過程中，在驗(yàn)證集上的準(zhǔn)確率，作者選取不同訓(xùn)練步數(shù)的 checkpoint 作為獎勵(lì)模型進(jìn)行訓(xùn)練。

實(shí)驗(yàn)結(jié)果顯示，當(dāng)獎勵(lì)模型準(zhǔn)確率超過 75% 時(shí)，不同獎勵(lì)模型訓(xùn)練得到的語言模型在下游任務(wù)中的主觀評測得分相似。這一現(xiàn)象與在數(shù)學(xué)任務(wù)中的觀察相符，表明語言模型能夠容忍一定程度的獎勵(lì)噪聲。然而，當(dāng)獎勵(lì)模型準(zhǔn)確率低于 75% 時(shí)，訓(xùn)練效果顯著下降；當(dāng)準(zhǔn)確率降至 65% 時(shí)，模型的表現(xiàn)大幅不如使用高準(zhǔn)確率獎勵(lì)模型訓(xùn)練得到的結(jié)果。這也許指出了 Qwen-2.5-7B 在該任務(wù)上的噪聲耐受限度。

圖 4: 不同獎勵(lì)模型訓(xùn)練得到的語言模型在 HelpSteer3 任務(wù)中的主觀評測表現(xiàn)

這一發(fā)現(xiàn)或許對許多研究人員而言提供了慰藉：在很多應(yīng)用場景中，我們不必過分追求獎勵(lì)模型的高準(zhǔn)確率，因?yàn)槌^某個(gè)臨界點(diǎn)后，進(jìn)一步提高獎勵(lì)模型的準(zhǔn)確率對任務(wù)性能的提升將變得有限。

作者們進(jìn)一步思考，如果真的無法獲得「足夠好」的獎勵(lì)模型，如何增強(qiáng)現(xiàn)有獎勵(lì)模型以提升下游任務(wù)表現(xiàn)？

為此，作者提出通過 RPR 對獎勵(lì)模型進(jìn)行校準(zhǔn)：如果某個(gè)輸出被獎勵(lì)模型評為低分，但其思考模式較好（即 RPR 得分較高），那么這個(gè)低分可能是一個(gè)假陰性，應(yīng)該根據(jù)其思考模式通過 RPR 機(jī)制對獎勵(lì)模型的輸出進(jìn)行補(bǔ)償。通過這種方式，作者在 HelpSteer3 任務(wù)中驗(yàn)證了，即使獎勵(lì)模型的準(zhǔn)確率為 65%，經(jīng)過 RPR 校準(zhǔn)后，模型表現(xiàn)接近原本 85% 準(zhǔn)確率的獎勵(lì)模型訓(xùn)練出的效果。同時(shí)，85% 準(zhǔn)確率獎勵(lì)模型經(jīng)過校準(zhǔn)后，模型在下游任務(wù)中的表現(xiàn)進(jìn)一步增強(qiáng)，突破了作者們所擁有的獎勵(lì)模型質(zhì)量的限制。

圖 5: 經(jīng)過 RPR 校準(zhǔn)后，所有獎勵(lì)模型訓(xùn)得的語言模型質(zhì)量都有提升。

作者們的另一個(gè)重要發(fā)現(xiàn)是，即便使用作者所擁有的最精確的獎勵(lì)模型（準(zhǔn)確率 85%），Qwen-2.5-3B 在 HelpSteer3 任務(wù)上發(fā)生了訓(xùn)練崩潰，表現(xiàn)為輸出長度急劇下降，僅剩數(shù)十個(gè) token。但經(jīng)過 RPR 校準(zhǔn)后，3B 模型成功完成了訓(xùn)練，避免了崩潰并獲得了良好的效果，并且在很多復(fù)雜的開放任務(wù)中，比如根據(jù)指令做 PPT，呈現(xiàn)出良好的解題思路。

圖 6: 經(jīng)過 RPR 校準(zhǔn)獎勵(lì)模型后，3B 的模型也可以在 HelpSteer 任務(wù)上成功訓(xùn)練；而使用未校準(zhǔn)的獎勵(lì)模型，RL 發(fā)生了崩潰。

研究者們希望通過展示語言模型對基于結(jié)果的獎勵(lì)噪聲的魯棒性，以及單獨(dú)使用 RPR 獲得下游任務(wù)提升的結(jié)果，來強(qiáng)調(diào)強(qiáng)化學(xué)習(xí)對語言模型的影響更在于改變其輸出風(fēng)格，形成良好的思考模式，而非教授新知識。

此外，思考模式的重要性在使用獎勵(lì)模型進(jìn)行訓(xùn)練的開放性任務(wù)中得到了驗(yàn)證，也為強(qiáng)化學(xué)習(xí)后訓(xùn)練算法的改進(jìn)提供了新思路。

作者指出，模型預(yù)訓(xùn)練技術(shù)的增強(qiáng)仍然值得持續(xù)投入，因?yàn)槿绻麖?qiáng)化學(xué)習(xí)只專注于思考模式的培養(yǎng)，語言模型預(yù)訓(xùn)練階段的能力依然會對下游任務(wù)構(gòu)成瓶頸（例如文中對 Llama3 的實(shí)驗(yàn)表明，由于 Llama3 預(yù)訓(xùn)練模型難以生成較高質(zhì)量的思考路徑，導(dǎo)致其在各個(gè)任務(wù)中的表現(xiàn)和抗噪音能力遠(yuǎn)遜色于 Qwen 模型）。