在大語(yǔ)言模型（LLMs）的發(fā)展歷程中，「規(guī)模效應(yīng)」始終是性能提升的核心驅(qū)動(dòng)力。從GPT-3的1750億參數(shù)到GPT-4的萬(wàn)億級(jí)架構(gòu)，模型通過(guò)海量文本 的「下一個(gè)token預(yù)測(cè)」任務(wù)（NTP）學(xué)習(xí)語(yǔ)言規(guī)律，但這種純粹的自監(jiān)督訓(xùn)練逐漸暴露出局限性：模型更擅長(zhǎng)「記憶」而非「推理」，面對(duì)復(fù)雜問題時(shí)容易陷入「模式匹配」而非邏輯推導(dǎo)。

與此同時(shí)，強(qiáng)化學(xué)習(xí)（RL）在對(duì)齊人類偏好（如RLHF）和提升推理能力上展現(xiàn)潛力，但傳統(tǒng)RL依賴昂貴的人工標(biāo)注或領(lǐng)域特定獎(jiǎng)勵(lì)函數(shù)，難以在大規(guī)模預(yù)訓(xùn)練中應(yīng)用。如何讓RL突破數(shù)據(jù)瓶頸，與自監(jiān)督預(yù)訓(xùn)練的 scalability 結(jié)合？微軟研究院聯(lián)合北大、清華提出的強(qiáng)化預(yù)訓(xùn)練（Reinforcement Pre-Training, RPT） 給出了全新答案。

一、RPT的核心思想：從「預(yù)測(cè)」到「推理」的范式升級(jí)

1. 重構(gòu)任務(wù)：讓token預(yù)測(cè)成為推理過(guò)程

RPT的核心創(chuàng)新在于將標(biāo)準(zhǔn)的下一個(gè)token預(yù)測(cè)轉(zhuǎn)化為「推理任務(wù)」：模型在預(yù)測(cè)token前，需要生成一段「思維鏈」（chain-of-thought, CoT），通過(guò)邏輯推導(dǎo)驗(yàn)證預(yù)測(cè)的合理性。例如，當(dāng)輸入上下文為「Electric force grows with charge」時(shí)，傳統(tǒng)NTP直接預(yù)測(cè)「size」，而RPT要求模型先思考「庫(kù)侖定律中電荷與力的關(guān)系」，再得出結(jié)論。

這種轉(zhuǎn)化的關(guān)鍵在于可驗(yàn)證的獎(jiǎng)勵(lì)機(jī)制：模型每生成一個(gè)預(yù)測(cè)，若與語(yǔ)料庫(kù)中的真實(shí)token完全匹配（基于字節(jié)級(jí)前綴匹配），則獲得獎(jiǎng)勵(lì)1，否則0。這種「對(duì)錯(cuò)分明」的規(guī)則式獎(jiǎng)勵(lì)，避免了RLHF中人工標(biāo)注的主觀性，也杜絕了獎(jiǎng)勵(lì)黑客（reward hacking）問題。

2. 規(guī)?；疪L的秘密：讓未標(biāo)注文本成為RL訓(xùn)練集

傳統(tǒng)RLVR（帶可驗(yàn)證獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)）依賴問答對(duì)標(biāo)注數(shù)據(jù)，而RPT巧妙地將海量未標(biāo)注文本轉(zhuǎn)化為RL訓(xùn)練數(shù)據(jù)。具體而言：

這種設(shè)計(jì)讓RPT突破了RL的標(biāo)注瓶頸——互聯(lián)網(wǎng)級(jí)別的未標(biāo)注文本（如網(wǎng)頁(yè)、書籍）都能成為RL訓(xùn)練數(shù)據(jù)，實(shí)現(xiàn)了「自監(jiān)督預(yù)訓(xùn)練的規(guī)?！古c「RL的推理誘導(dǎo)能力」的融合。

二、RPT的技術(shù)實(shí)現(xiàn)：從數(shù)學(xué)框架到訓(xùn)練細(xì)節(jié)

1. 數(shù)學(xué)定義：從NTP到RPT的目標(biāo)函數(shù)升級(jí)

2. 訓(xùn)練流程：從「單路徑預(yù)測(cè)」到「多軌跡搜索」

RPT的訓(xùn)練過(guò)程類似「推理軌跡的蒙特卡洛采樣」：

1. 給定上下文 $x_{?
2. 驗(yàn)證預(yù)測(cè)是否與真實(shí)token匹配，分配二元獎(jiǎng)勵(lì)（0或1）
3. 使用GRPO算法更新模型參數(shù)，強(qiáng)化高獎(jiǎng)勵(lì)軌跡的生成概率

以O(shè)mniMATH數(shù)學(xué)數(shù)據(jù)集為例，RPT通過(guò)熵過(guò)濾策略（篩選高難度token），聚焦需要深度推理的預(yù)測(cè)任務(wù)。訓(xùn)練中采用8k序列長(zhǎng)度、(10^{-6}) 學(xué)習(xí)率，每次采樣8條軌跡（G=8），并通過(guò)動(dòng)態(tài)采樣提升效率。

三、實(shí)驗(yàn)驗(yàn)證：RPT如何刷新LLM的「推理天花板」

1. 語(yǔ)言建模：準(zhǔn)確率提升與規(guī)模效應(yīng)

在OmniMATH驗(yàn)證集上，RPT-14B在不同難度token上的預(yù)測(cè)準(zhǔn)確率全面超越基線：

• 簡(jiǎn)單token：45.11% vs 標(biāo)準(zhǔn)NTP的41.60%
• 困難token：23.75% vs 標(biāo)準(zhǔn)NTP的20.43%

更驚人的是，RPT-14B的性能竟能匹配規(guī)模兩倍的R1-Distill-Qwen-32B，證明其通過(guò)推理誘導(dǎo)實(shí)現(xiàn)了「參數(shù)效率」的突破。從訓(xùn)練計(jì)算量（FLOPs）與準(zhǔn)確率的關(guān)系看，RPT呈現(xiàn)顯著的冪律增長(zhǎng)規(guī)律，且在困難數(shù)據(jù)上的擬合優(yōu)度 (R^2) 高達(dá)0.989，說(shuō)明其具備可持續(xù)的規(guī)模化潛力。

2. 下游任務(wù)：從「預(yù)訓(xùn)練基礎(chǔ)」到「零樣本能力」

• 強(qiáng)化微調(diào)（RLFT）：在Skywork-OR1數(shù)據(jù)集上，RPT-14B經(jīng)RLFT后準(zhǔn)確率達(dá)58.3%，遠(yuǎn)超基線模型的52.7%；而傳統(tǒng)NTP繼續(xù)訓(xùn)練反而導(dǎo)致性能暴跌至13.0%，證明RPT預(yù)訓(xùn)練與RLFT的目標(biāo)一致性。
• 零樣本推理：在SuperGPQA（285學(xué)科推理）和MMLU-Pro（多任務(wù)理解）基準(zhǔn)上，RPT-14B的推理模式準(zhǔn)確率比14B基線高7-22個(gè)百分點(diǎn)，甚至超越32B模型。

3. 推理模式分析：從「模式匹配」到「邏輯探索」

通過(guò)關(guān)鍵詞統(tǒng)計(jì)，RPT模型的推理軌跡中「假設(shè)生成」（hypothesis）模式使用量比傳統(tǒng)問題解決模型高161.8%，「演繹推理」（deduction）高26.2%。其推理過(guò)程兼具高層語(yǔ)義理解（如「向量模長(zhǎng)計(jì)算」的上下文分析）和底層文本特征判斷（如Markdown格式線索），展現(xiàn)出「多維度推理」能力。

四、行業(yè)影響：RPT如何重塑LLM的訓(xùn)練范式

1. 打破「預(yù)訓(xùn)練-微調(diào)」的目標(biāo)鴻溝

傳統(tǒng)LLM預(yù)訓(xùn)練（NTP）與RL微調(diào)的目標(biāo)存在天然割裂：前者優(yōu)化token概率，后者優(yōu)化任務(wù)獎(jiǎng)勵(lì)。RPT通過(guò)將RL引入預(yù)訓(xùn)練階段，使模型從底層學(xué)習(xí)「推理習(xí)慣」，大幅降低后續(xù)RLFT的適配成本。實(shí)驗(yàn)顯示，RPT預(yù)訓(xùn)練的模型在RLFT時(shí)僅需少量數(shù)據(jù)即可快速提升，而NTP模型則需要大量數(shù)據(jù)才能勉強(qiáng)適應(yīng)。

2. 為「通用人工智能」鋪設(shè)推理基石

RPT的核心價(jià)值在于將「推理能力」注入預(yù)訓(xùn)練階段，而非依賴下游微調(diào)。這種「從源頭培養(yǎng)思維」的方式，讓模型在零樣本場(chǎng)景下就能展現(xiàn)更強(qiáng)的泛化能力。例如，RPT-14B在MMLU-Pro的「法律」「醫(yī)學(xué)」等專業(yè)領(lǐng)域的零樣本準(zhǔn)確率比基線高10%以上，證明其具備跨領(lǐng)域推理的潛力。

3. 推動(dòng)RL與自監(jiān)督學(xué)習(xí)的深度融合

RPT揭示了一個(gè)重要方向：RL不應(yīng)僅作為微調(diào)工具，而應(yīng)成為預(yù)訓(xùn)練的核心組件。其通過(guò)「可驗(yàn)證獎(jiǎng)勵(lì)+大規(guī)模未標(biāo)注數(shù)據(jù)」的組合，為RL的規(guī)?；瘧?yīng)用提供了范式參考。未來(lái)，結(jié)合互聯(lián)網(wǎng)級(jí)文本與RPT框架，可能催生出推理能力逼近人類的通用模型。

五、挑戰(zhàn)與未來(lái)：RPT的下一站在哪里？

盡管RPT展現(xiàn)出強(qiáng)大潛力，當(dāng)前研究仍存在局限：

1. 數(shù)據(jù)偏差：實(shí)驗(yàn)主要基于數(shù)學(xué)文本（OmniMATH），在通用領(lǐng)域（如自然語(yǔ)言理解、代碼生成）的效果有待驗(yàn)證。
2. 初始化依賴：RPT當(dāng)前需從推理模型（如Deepseek-R1）初始化，若從標(biāo)準(zhǔn)LM直接訓(xùn)練，其推理誘導(dǎo)能力是否能保持？
3. 計(jì)算成本：多軌跡采樣（G=8）比標(biāo)準(zhǔn)NTP消耗更多算力，如何在效率與效果間平衡？

未來(lái)研究可能從以下方向突破：

• 擴(kuò)大數(shù)據(jù)規(guī)模：將RPT應(yīng)用于全網(wǎng)文本，構(gòu)建跨領(lǐng)域推理能力
• 混合推理框架：結(jié)合「系統(tǒng)1-系統(tǒng)2」雙過(guò)程理論，動(dòng)態(tài)觸發(fā)推理軌跡生成
• 理論建模：建立RPT的縮放定律（scaling laws），指導(dǎo)模型高效擴(kuò)展

結(jié)語(yǔ)：推理，才是大模型的「智能內(nèi)核」

從GPT-1到GPT-4，大模型的進(jìn)化史本質(zhì)是「從記憶到推理」的迭代史。RPT的出現(xiàn)，標(biāo)志著LLM訓(xùn)練從「參數(shù)堆砌」轉(zhuǎn)向「思維培養(yǎng)」的關(guān)鍵轉(zhuǎn)折——當(dāng)模型在預(yù)訓(xùn)練階段就被要求「講道理」，其在下游任務(wù)中的「智能表現(xiàn)」便不再是偶然的模式匹配，而是內(nèi)在推理能力的自然流露。

正如論文中所言：「RPT通過(guò)重新定義預(yù)訓(xùn)練目標(biāo)，為L(zhǎng)LM注入了更接近人類的思考方式?！乖谕ㄓ萌斯ぶ悄艿恼鞒躺?，這種讓模型「先思考再回答」的訓(xùn)練范式，或許正是打開下一扇大門的鑰匙。

參考資料

論文原文：Reinforcement Pre-Training: A New Scaling Paradigm for Large Language

Models相關(guān)鏈接：微軟研究院通用AI主頁(yè)（https://aka.ms/GeneralAI）

本文轉(zhuǎn)載自??智駐未來(lái)??，作者：智駐未來(lái)