首次實現(xiàn)“訓(xùn)練-推理不對稱”，字節(jié)團(tuán)隊提出全新的語言模型訓(xùn)練方法：Post-Completion Learning (PCL)。

在訓(xùn)練時讓模型對自己的輸出結(jié)果進(jìn)行反思和評估，推理時卻僅輸出答案，將反思能力完全內(nèi)化。

與目前主流的訓(xùn)練方式相比，這一創(chuàng)新方法不僅實現(xiàn)了模型能力的顯著提升，更重要的是推理時完全零額外開銷。

測試結(jié)果顯示，PCL方法在保持推理效率的同時，顯著提升了模型的輸出質(zhì)量和自我評估能力，為大語言模型訓(xùn)練開辟了全新技術(shù)路徑。

下面通過實際的對話案例，直觀展示PCL的訓(xùn)練和推理效果。例如，對于如下問題：

小明手里有50塊錢，巧克力7塊錢一顆，小明買了5顆，還剩多少錢？

模型在訓(xùn)練時，會完整輸出以下內(nèi)容，并通過多目標(biāo)優(yōu)化同時提升其推理、評估能力：  

think: 小明買了五顆巧克力，一共花費(fèi) 5*7=35 元；因此，小明還剩下 50-35=15 元。
answer: 15
<post>
evaluation: 讓我重新檢查一下我的回答過程。首先，我的兩步計算過程：5*7=35，50-35=15 都是準(zhǔn)確的，因此我的最終答案應(yīng)該是正確的，可以獲得 accuracy reward。其次，我的輸出也符合正確的格式，包含了 think + answer 兩部分內(nèi)容，因此也可以獲得 format reward。
reward: {accuracy reward:1, format reward: 1}

在推理時，模型以<post>作為新的結(jié)束符，只需要輸出推理部分的內(nèi)容：

think: 小明買了五顆巧克力，一共花費(fèi) 5*7=35 元；因此，小明還剩下 50-35=15 元。 answer: 15

可以看到，模型在推理時完全不輸出evaluation部分，從而無需任何額外的推理開銷。而通過在訓(xùn)練時進(jìn)行自我反思和評估，模型的實際能力也得到了提升，這一點在實驗中得到了驗證。

方法

1 突破性的“不對稱訓(xùn)練”范式

傳統(tǒng)語言模型訓(xùn)練存在一個根本性限制：訓(xùn)練和推理必須完全對稱。

現(xiàn)有方法通常以結(jié)束符(EOS)作為序列終止點，模型的學(xué)習(xí)目標(biāo)也僅限于預(yù)測到結(jié)束符為止的內(nèi)容，形成了“訓(xùn)練什么就輸出什么”的對稱約束，就像學(xué)生考試時必須把所有思考過程都寫在答卷上。然而，人類在完成答題后往往會進(jìn)行檢查，反思和評估自己的回答質(zhì)量，而大模型卻缺少了這個關(guān)鍵的自我反思環(huán)節(jié)。

PCL方法首次打破了這種對稱性約束，實現(xiàn)了訓(xùn)練的創(chuàng)新，其核心思路簡單而巧妙：

• 訓(xùn)練時：將原始的EOS替換為臨時結(jié)束符，讓模型繼續(xù)輸出自我評估和質(zhì)量預(yù)測
• 推理時：模型在處直接停止，無需輸出后續(xù)的評估部分

這樣一來，模型在訓(xùn)練階段學(xué)會了”內(nèi)省”的能力，但部署時保持原有計算效率。實驗結(jié)果表明，通過在訓(xùn)練時評估自己的答案，模型本身的回答能力也得到了提升。

PCL 方法示意圖：(a) 傳統(tǒng)方法以結(jié)束符作為訓(xùn)練的終點；(b) 方法在訓(xùn)練時，首先將其替換為臨時結(jié)束符 ，然后在后面繼續(xù)加入自我反思、自我評估的部分；(c) 在推理時，將臨時結(jié)束符 作為新的結(jié)束符，作為輸出的終止，從而避免了額外的推理開銷。

2 白盒化強(qiáng)化學(xué)習(xí)：讓AI學(xué)會“自我評價”

為了有效利用這一點，研究團(tuán)隊提出了另一項創(chuàng)新：實現(xiàn)了強(qiáng)化學(xué)習(xí)過程的白盒化。

這一點也是基于目前對強(qiáng)化學(xué)習(xí)的普遍認(rèn)知：大模型依賴并被動接受外部的獎勵信號，難以理解獎勵函數(shù)的機(jī)制，其優(yōu)化過程更像是一個黑盒，優(yōu)化效果較差。

PCL的白盒化設(shè)計則截然不同：直接教會模型如何計算獎勵，讓模型主動進(jìn)行自我評估，因此其訓(xùn)練過程完全透明可解釋。利用模型自己輸出的評估結(jié)果，與外部獎勵函數(shù)的結(jié)果進(jìn)行對齊，從而監(jiān)督模型的評估能力。

就像從“老師打分”變成了“學(xué)生自己會打分”，模型不僅學(xué)會了做題，還學(xué)會了評分標(biāo)準(zhǔn)，知道應(yīng)該從哪些角度去得分，從而實現(xiàn)更高效的優(yōu)化。

白盒化強(qiáng)化學(xué)習(xí)的對話示意圖，教會模型如何計算獎勵，并設(shè)計一致性獎勵函數(shù)用于對齊

3 統(tǒng)一混合訓(xùn)練框架

在具體實現(xiàn)上，PCL 實現(xiàn)了統(tǒng)一 SFT + RL 訓(xùn)練框架，進(jìn)行多目標(biāo)的聯(lián)合優(yōu)化。這種混合訓(xùn)練范式也在最近的不少工作中得到驗證。

• 推理能力 SFT：使用推理數(shù)據(jù)集，專注于 think + answer 部分，訓(xùn)練模型回答問題的能力
• 評估能力 SFT：使用教師輸出進(jìn)行蒸餾，專注于 evaluation + reward 部分，讓模型基于完整推理過程進(jìn)行評估
• 推理能力 GRPO：使用 accuracy + format 獎勵函數(shù)，驗證答案與格式的正確性。獎勵函數(shù)因任務(wù)而異，可以拓展到更多的場景
• 評估能力 GRPO：設(shè)計了一致性獎勵函數(shù)，指導(dǎo)模型預(yù)測出準(zhǔn)確的獎勵得分

各優(yōu)化目標(biāo)在統(tǒng)一框架中混合訓(xùn)練，將監(jiān)督微調(diào)(SFT)和強(qiáng)化學(xué)習(xí)優(yōu)化(GRPO)完美融合，實現(xiàn)多目標(biāo)協(xié)同優(yōu)化。

實驗結(jié)果

作者設(shè)置了多種實驗，驗證了PCL的各組成部分的效果：

• 對比 SFT, RL 等經(jīng)典訓(xùn)練方法，對比混合訓(xùn)練策略
• 消融驗證 PCL 中的評估 SFT、一致性獎勵函數(shù)的效果

實驗結(jié)果上，論文在數(shù)學(xué)推理、邏輯推理兩個領(lǐng)域的數(shù)據(jù)集，分別在 Qwen-2.5 和 Llama-3.2 不同尺寸的模型上都取得了普遍正向的指標(biāo)提升，消融實驗也驗證了方法并非完全依賴蒸餾或強(qiáng)化學(xué)習(xí)策略，而是有效利用了自我評估，提升了模型的內(nèi)在推理能力。

結(jié)論

PCL方法的提出，為語言模型訓(xùn)練領(lǐng)域帶來了三個重要啟示：

• EOS后空間的價值：被忽視的訓(xùn)練空間蘊(yùn)含巨大潛力，自我評估能夠提升推理能力
• 白盒化RL的可能：強(qiáng)化學(xué)習(xí)不必是“黑盒子”，提升可解釋性可以學(xué)得更好
• 訓(xùn)練推理解耦：復(fù)雜訓(xùn)練+簡潔推理的平衡，“不對稱”的訓(xùn)練+推理過程

這種不對稱訓(xùn)練的新范式，既能顯著提升訓(xùn)練效果，又無需額外推理開銷，有望成為未來大模型訓(xùn)練的標(biāo)準(zhǔn)做法。

論文鏈接：https://arxiv.org/abs/2507.20252