大家好，我是肆〇柒。當(dāng)下大型語(yǔ)言模型（LLM）已深度融入諸多領(lǐng)域，從智能寫作到語(yǔ)言翻譯，從智能客服到數(shù)據(jù)分析，其影響力無(wú)處不在。然而，在處理復(fù)雜問(wèn)題時(shí)，推理能力的強(qiáng)弱直接決定了模型的實(shí)用性。目前，多數(shù) LLM 在解決高度復(fù)雜的推理任務(wù)時(shí)，仍存在顯著局限，如容易陷入局部最優(yōu)解、無(wú)法有效糾正自身錯(cuò)誤等。

隨著強(qiáng)化學(xué)習(xí)范式被廣泛應(yīng)用取得了一系列成果。OpenAI 在利用 RL 提升 LLM 推理能力方面成果顯著。其推出的 o1 模型，通過(guò)精心設(shè)計(jì)的獎(jiǎng)勵(lì)函數(shù)和 RL 算法，對(duì)模型輸出進(jìn)行優(yōu)化調(diào)整，使其在數(shù)學(xué)推理、邏輯推理等任務(wù)上取得了性能突破。DeepSeek 推出的 DeepSeekR1 模型，同樣借助 RL 技術(shù)，強(qiáng)化了模型在復(fù)雜推理任務(wù)中的表現(xiàn)。Google 的 Gemini 2.5 模型也融合了 RL 訓(xùn)練方法，在多模態(tài)推理任務(wù)中展現(xiàn)出強(qiáng)大的性能。但這些模型往往依賴于已具備較強(qiáng)推理能力的模型作為基礎(chǔ)，且訓(xùn)練過(guò)程中使用的獎(jiǎng)勵(lì)信號(hào)可能存在噪聲干擾，導(dǎo)致模型更新方向出現(xiàn)偏差，性能提升不穩(wěn)定?，F(xiàn)有 LLM 在處理復(fù)雜推理問(wèn)題時(shí)常出現(xiàn)以下錯(cuò)誤：一是關(guān)鍵步驟遺漏；二是路徑選擇不當(dāng)；三是錯(cuò)誤糾正困難。

可見(jiàn)，RL 雖在一定程度上提升了 LLM 推理能力，但其依然存在一些局限性。一方面，它們大多依賴于本身已具備較強(qiáng)推理能力的模型作為基礎(chǔ)，限制了方法的普適性和應(yīng)用范圍；另一方面，在訓(xùn)練過(guò)程中，由于獎(jiǎng)勵(lì)信號(hào)可能存在噪聲干擾，導(dǎo)致模型性能提升不穩(wěn)定，甚至在某些情況下出現(xiàn)性能退化現(xiàn)象。對(duì)于非推理型模型（如開源模型 Llama 3），如何突破其推理能力瓶頸，成為了需要解決的難題。

ASTRO（Autoregressive Search-Taught Reasoner）作為一種創(chuàng)新框架，由 Meta 和華盛頓大學(xué)的研究人員們共同推出。ASTRO 的核心在于將搜索算法的行為融入語(yǔ)言模型，通過(guò)模擬人類解決問(wèn)題時(shí)的試錯(cuò)、反思與調(diào)整過(guò)程，使模型具備自我反思、回溯以及探索的能力，從而顯著提升其推理性能。這也為開源 LLM 的推理能力提升開辟了新路徑。

ASTRO 架構(gòu)與設(shè)計(jì)思路

ASTRO 的核心理念是借鑒人類解決問(wèn)題時(shí)的搜索式推理過(guò)程，將語(yǔ)言模型轉(zhuǎn)化為一個(gè)能夠在解空間中進(jìn)行自主探索、反思和調(diào)整的 “自回歸搜索式推理器”。它模擬人類在面對(duì)復(fù)雜問(wèn)題時(shí)，不斷嘗試不同解決路徑，從失敗中學(xué)習(xí)，總結(jié)經(jīng)驗(yàn)教訓(xùn)，最終找到正確答案的思維方式。

ASTRO 框架分為三個(gè)關(guān)鍵階段。

1. 首先是搜索軌跡生成階段，通過(guò)蒙特卡洛樹搜索（MCTS）在數(shù)學(xué)問(wèn)題的解空間中進(jìn)行廣泛探索，構(gòu)建包含多種解題路徑的搜索樹，并將搜索樹線性化處理為帶有自我反思和回溯的自然語(yǔ)言鏈?zhǔn)剿伎迹–oT）；

算法偽代碼：搜索樹序列化

2. 接著是監(jiān)督微調(diào)（SFT）階段，使用生成的高質(zhì)量 CoT 數(shù)據(jù)集對(duì) Llama 3 等模型進(jìn)行微調(diào)，將搜索行為注入模型；

3. 最后是強(qiáng)化學(xué)習(xí)（RL）階段，進(jìn)一步優(yōu)化模型的推理和搜索能力，提升其在復(fù)雜推理任務(wù)中的表現(xiàn)。

應(yīng)用 ASTRO 教會(huì)了Llama-3.1-70B-Instruct模型進(jìn)行上下文中的自我反思和回溯，從而提升了其數(shù)學(xué)推理能力。在MATH-500測(cè)試中，該模型的準(zhǔn)確率達(dá)到了81.8%；在2023年美國(guó)數(shù)學(xué)競(jìng)賽（AMC 2023）中，準(zhǔn)確率為64.4%；在2024年美國(guó)數(shù)學(xué)邀請(qǐng)賽（AIME 2024）中，通過(guò)率（pass@1）為30.0%

搜索結(jié)果

搜索結(jié)果軌跡生成

蒙特卡洛樹搜索（MCTS）的應(yīng)用

MCTS 是一種結(jié)合了隨機(jī)抽樣和決策樹搜索的算法。它通過(guò)

1. 選擇 - 根據(jù)當(dāng)前節(jié)點(diǎn)的訪問(wèn)次數(shù)和獎(jiǎng)勵(lì)值選擇最有前景的子節(jié)點(diǎn)

2. 擴(kuò)展 - 從選中的節(jié)點(diǎn)出發(fā)，嘗試新的行動(dòng)并擴(kuò)展搜索樹

3. 回溯 - 將擴(kuò)展節(jié)點(diǎn)的獎(jiǎng)勵(lì)值回傳至父節(jié)點(diǎn)，更新路徑上的節(jié)點(diǎn)值

以上三大步驟，在數(shù)學(xué)問(wèn)題的解空間中進(jìn)行高效探索。在 ASTRO 框架下，MCTS 能夠平衡探索新路徑與利用已知有效路徑的矛盾，確保搜索過(guò)程既具有廣泛性又不失針對(duì)性。

舉個(gè)具體例子，假設(shè)我們要解決一個(gè)幾何問(wèn)題：已知三角形的兩條邊長(zhǎng)和夾角，求第三邊長(zhǎng)。語(yǔ)言模型政策 ΠLM 會(huì)根據(jù)當(dāng)前狀態(tài)（已知兩條邊長(zhǎng)和夾角）生成多個(gè)可能的下一步操作，比如應(yīng)用余弦定理、嘗試構(gòu)造相似三角形等。MCTS 的選擇步驟會(huì)根據(jù)這些操作的歷史訪問(wèn)次數(shù)和獎(jiǎng)勵(lì)值，選擇最有可能成功的操作進(jìn)行擴(kuò)展；擴(kuò)展步驟會(huì)生成新的狀態(tài)節(jié)點(diǎn)，如計(jì)算出第三邊長(zhǎng)的表達(dá)式；回溯步驟則會(huì)根據(jù)最終結(jié)果的正確性，更新所有相關(guān)節(jié)點(diǎn)的獎(jiǎng)勵(lì)值和訪問(wèn)次數(shù)，從而優(yōu)化搜索策略。

搜索樹的線性化處理

將搜索樹轉(zhuǎn)換為線性節(jié)點(diǎn)序列的方法是按照深度優(yōu)先的順序遍歷搜索樹，依次記錄訪問(wèn)的節(jié)點(diǎn)。這樣做的目的是將復(fù)雜的樹狀搜索路徑簡(jiǎn)化為易于處理的序列形式，便于后續(xù)的語(yǔ)言模型學(xué)習(xí)。保留正確和錯(cuò)誤答案節(jié)點(diǎn)至關(guān)重要，因?yàn)檎_答案節(jié)點(diǎn)提供了成功案例，而錯(cuò)誤節(jié)點(diǎn)則為模型提供了反面教材，使其能夠?qū)W習(xí)到哪些路徑不可行，從而在實(shí)際推理中避免重蹈覆轍。

比如在代數(shù)方程求解中，搜索樹中可能包含因錯(cuò)誤應(yīng)用公式得到的錯(cuò)誤解節(jié)點(diǎn)，以及通過(guò)正確步驟得到的正確解節(jié)點(diǎn)。將這些節(jié)點(diǎn)線性化后，模型可以清晰地看到錯(cuò)誤與正確的推理過(guò)程對(duì)比，進(jìn)而學(xué)習(xí)到正確的解題策略。

語(yǔ)言線性化與過(guò)程克隆

在將線性化的搜索軌跡轉(zhuǎn)換為自然語(yǔ)言鏈?zhǔn)剿伎迹–oT）時(shí)，對(duì)于節(jié)點(diǎn)為父節(jié)點(diǎn)的情況，會(huì)添加像 “讓我們回到之前的步驟……” 這樣的回溯短語(yǔ)，引導(dǎo)模型從當(dāng)前節(jié)點(diǎn)返回到更早的思考環(huán)節(jié)；當(dāng)節(jié)點(diǎn)為根節(jié)點(diǎn)時(shí)，則使用 “讓我們重新開始思考……” 之類的重啟短語(yǔ)。

例如，在搜索樹中，當(dāng)當(dāng)前節(jié)點(diǎn)對(duì)應(yīng)的是對(duì)題目條件的錯(cuò)誤理解時(shí)，會(huì)通過(guò)回溯短語(yǔ)引導(dǎo)模型回到對(duì)條件正確解讀的父節(jié)點(diǎn)，重新展開思考，確保 CoT 能夠完整地反映模型的思考修正過(guò)程。

ASTRO 框架概覽。對(duì)數(shù)學(xué)推理問(wèn)題的處理過(guò)程如下：首先，以可驗(yàn)證的獎(jiǎng)勵(lì)為依據(jù)，逐步執(zhí)行蒙特卡洛樹搜索（MCTS），生成一棵搜索樹。在這棵樹中，每個(gè)節(jié)點(diǎn)都包含一個(gè)離散的推理步驟及其對(duì)應(yīng)的 Q 值。接著，將訪問(wèn)過(guò)的節(jié)點(diǎn)序列（包括那些包含錯(cuò)誤答案的中間節(jié)點(diǎn)）線性化，形成一個(gè)自然語(yǔ)言表達(dá)的解決方案，并在其中融入回溯和自我反思的邏輯。然后，對(duì)這些融合了搜索過(guò)程的解決方案進(jìn)行有監(jiān)督的微調(diào)（SFT），以此來(lái)引導(dǎo)策略執(zhí)行自回歸搜索。最后，再進(jìn)一步借助強(qiáng)化學(xué)習(xí)（RL）來(lái)提升策略的搜索和推理能力

監(jiān)督微調(diào)（SFT）

數(shù)據(jù)集的構(gòu)建與特點(diǎn)

ASTRO 使用的開源數(shù)學(xué)數(shù)據(jù)集包括 MATH-train、NuminaMath（涵蓋 AMC/AIME 和 AoPS-forum 子集）等。這些數(shù)據(jù)集涵蓋了從高中數(shù)學(xué)到競(jìng)賽數(shù)學(xué)的廣泛題目，具有題目類型多樣、難度梯度合理、答案解析詳細(xì)等特點(diǎn)。從搜索樹中篩選高質(zhì)量 CoT 解決方案的過(guò)程，是基于模型對(duì)答案的自我評(píng)估（self-evaluation）得分進(jìn)行篩選，只有那些經(jīng)過(guò)多次自我評(píng)估且一致認(rèn)為推理過(guò)程和答案正確的 CoT 才會(huì)被納入數(shù)據(jù)集。最終構(gòu)建的數(shù)據(jù)集規(guī)模龐大，包含數(shù)十萬(wàn)條高質(zhì)量的數(shù)學(xué)問(wèn)題及其對(duì)應(yīng)的詳細(xì) CoT 解決方案。

ASTRO 主要訓(xùn)練運(yùn)行的 SFT 數(shù)據(jù)集組成情況

比如 MATH-train 數(shù)據(jù)集中包含大量的代數(shù)、幾何、微積分等題目，每個(gè)題目都配有完整的解題步驟和答案，這些解題步驟經(jīng)過(guò)專業(yè)數(shù)學(xué)人士的審核，確保了其準(zhǔn)確性和邏輯性，為模型的微調(diào)提供了優(yōu)質(zhì)的訓(xùn)練素材。

微調(diào)過(guò)程與目標(biāo)

對(duì) Llama 3 系列模型進(jìn)行 SFT 時(shí)，采用標(biāo)準(zhǔn)的監(jiān)督學(xué)習(xí)方法，將數(shù)據(jù)集中的數(shù)學(xué)問(wèn)題作為輸入，對(duì)應(yīng)的 CoT 解決方案作為期望輸出，通過(guò)優(yōu)化模型參數(shù)，使模型生成的輸出盡可能接近期望的 CoT。在這個(gè)過(guò)程中，模型逐漸學(xué)習(xí)到搜索行為模式，即如何像搜索算法一樣，在解空間中嘗試不同的路徑，并通過(guò)自我反思和回溯來(lái)糾正錯(cuò)誤，從而提升其推理能力。

例如，在微調(diào)過(guò)程中，當(dāng)模型生成的解題步驟出現(xiàn)偏差時(shí)，監(jiān)督信號(hào)會(huì)引導(dǎo)模型調(diào)整參數(shù)，使其朝著正確的解題路徑方向調(diào)整，經(jīng)過(guò)多次迭代后，模型在面對(duì)類似數(shù)學(xué)問(wèn)題時(shí)，能夠更準(zhǔn)確地生成符合邏輯的解題步驟。

通過(guò)過(guò)程克隆來(lái)生成搜索軌跡示例。利用策略通過(guò)蒙特卡洛樹搜索（MCTS）在解空間中進(jìn)行搜索，并且會(huì)記錄下那些最終結(jié)果為錯(cuò)誤答案的終端節(jié)點(diǎn)，以及結(jié)果為正確答案的終端節(jié)點(diǎn)。然后，將搜索樹進(jìn)行線性化處理，使其能夠從錯(cuò)誤的終端節(jié)點(diǎn)（節(jié)點(diǎn)68）回溯到與正確終端節(jié)點(diǎn)（節(jié)點(diǎn)96）的最大公共祖先節(jié)點(diǎn)（節(jié)點(diǎn)16）。最后，將節(jié)點(diǎn)序列重新編寫為一條長(zhǎng)的思考鏈，同時(shí)在思考鏈中加入自我反思和回溯的語(yǔ)句

強(qiáng)化學(xué)習(xí)（RL）

數(shù)據(jù)集的篩選與處理

用于 RL 訓(xùn)練的開源數(shù)學(xué)數(shù)據(jù)集同樣基于 MATH - 500、AMC 2023、AIME 2024 等權(quán)威競(jìng)賽題目，篩選標(biāo)準(zhǔn)嚴(yán)格。

這是針對(duì)基于Llama-3.1-70b-instruct訓(xùn)練的Astro模型的強(qiáng)化學(xué)習(xí)（RL）數(shù)據(jù)集組成情況。其中，“# problems total”指的是經(jīng)過(guò)基于字符串的過(guò)濾（用于篩除低質(zhì)量或不可驗(yàn)證的問(wèn)題）后剩余的問(wèn)題總數(shù)；“pass rate avg.”是指所有問(wèn)題在N=64次輸出中的平均通過(guò)率；“# problems solved”是指有非零通過(guò)率的問(wèn)題數(shù)量；“# problems used”是指在每個(gè)訓(xùn)練子集中，符合SFT（監(jiān)督微調(diào)）策略中1%到75%通過(guò)率范圍內(nèi)的問(wèn)題數(shù)量，主要用這部分問(wèn)題來(lái)進(jìn)行強(qiáng)化學(xué)習(xí)實(shí)驗(yàn)

首先要排除那些模型能夠輕易解決的簡(jiǎn)單問(wèn)題（通過(guò)率高于 75%）和模型幾乎無(wú)法解決的難題（通過(guò)率低于 1%），專注于選取對(duì)模型具有中等難度的問(wèn)題，以確保訓(xùn)練的有效性和針對(duì)性。具體操作是讓經(jīng)過(guò) SFT 的模型為每個(gè)問(wèn)題生成多個(gè)解決方案，計(jì)算每個(gè)問(wèn)題的通過(guò)率（即生成的正確解決方案占比），根據(jù)通過(guò)率篩選出符合難度范圍的問(wèn)題。

例如，在篩選過(guò)程中，某個(gè)幾何題目若模型生成的 10 個(gè)解決方案中有 8 個(gè)正確，則其通過(guò)率為 80%，該題目將被納入訓(xùn)練數(shù)據(jù)集，因?yàn)樗鼘?duì)當(dāng)前模型而言具有一定的挑戰(zhàn)性，但又并非完全無(wú)法解決，通過(guò) RL 訓(xùn)練有助于提升模型在該類問(wèn)題上的表現(xiàn)。

訓(xùn)練過(guò)程與策略

基于 Group Relative Policy Optimization（GRPO）的訓(xùn)練方法，通過(guò)計(jì)算優(yōu)勢(shì)函數(shù)來(lái)評(píng)估每個(gè)解決方案的優(yōu)劣。優(yōu)勢(shì)函數(shù)通過(guò)比較同一問(wèn)題多個(gè)解決方案的獎(jiǎng)勵(lì)值，確定哪些解決方案更優(yōu)，從而引導(dǎo)模型優(yōu)先生成高質(zhì)量解決方案。同時(shí)，設(shè)置 KL 懲罰項(xiàng)來(lái)控制新策略與舊策略之間的差異，防止模型更新過(guò)快導(dǎo)致性能不穩(wěn)定。

例如，在訓(xùn)練過(guò)程中，對(duì)于同一道代數(shù)應(yīng)用題，模型生成了三個(gè)不同的解決方案，分別對(duì)應(yīng)獎(jiǎng)勵(lì)值為 +1（正確）、-0.5（部分正確）、-1（錯(cuò)誤）。通過(guò)計(jì)算優(yōu)勢(shì)函數(shù)，模型會(huì)得知第一個(gè)方案更具優(yōu)勢(shì)，從而在后續(xù)生成中增加生成類似正確解決方案的概率，同時(shí)減少生成錯(cuò)誤方案的概率，逐步提升整體推理能力。優(yōu)勢(shì)函數(shù)的計(jì)算公式為：A(s, a) = Q(s, a) - V(s)，其中 Q(s, a) 是狀態(tài) - 行為對(duì)的價(jià)值，V(s) 是狀態(tài)的價(jià)值。KL 懲罰項(xiàng)則通過(guò)限制策略更新前后概率分布之間的 KL 散度，確保更新的穩(wěn)定性。

 訓(xùn)練曲線詳細(xì)展示了 Llama-3.1-70B-ASTRO-RL 在強(qiáng)化學(xué)習(xí)（RL）訓(xùn)練過(guò)程中的行為表現(xiàn)。（左側(cè)）模型在訓(xùn)練過(guò)程中的推理鏈（CoT）長(zhǎng)度變化情況。初始的 SFT 策略生成的 token 數(shù)量在 1600 到 1800 之間，而在最初的 1000 步訓(xùn)練中，其生成長(zhǎng)度逐漸增加。在第 1000 步之后，生成長(zhǎng)度的增加速度變慢，但最終整體增加，平均生成約 6000 個(gè) token。（右側(cè)）在強(qiáng)化學(xué)習(xí)過(guò)程中分配給策略的獎(jiǎng)勵(lì)分?jǐn)?shù)，其中正確答案被賦予 +1 分，錯(cuò)誤答案被賦予 -1 分。策略最初正確解決的實(shí)例不到 30%，但在經(jīng)過(guò)強(qiáng)化學(xué)習(xí)后，能夠正確解決超過(guò) 60% 的實(shí)例

實(shí)驗(yàn)設(shè)計(jì)與結(jié)果

實(shí)驗(yàn)設(shè)置

研究人員使用了強(qiáng)大的硬件設(shè)備來(lái)支持模型的訓(xùn)練和評(píng)估。在實(shí)驗(yàn)過(guò)程中，采用了 NVIDIA H100 GPUs，這些 GPU 具有高內(nèi)存容量和強(qiáng)大的并行計(jì)算能力，能夠高效處理大規(guī)模的深度學(xué)習(xí)任務(wù)。

• 在 SFT 階段，使用了 8 個(gè) GPU 節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)配備 8 塊 NVIDIA H100 GPU；
• 在 RL 階段，為了滿足更大的計(jì)算需求，使用了 32 個(gè) GPU 節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)同樣配備 8 塊 NVIDIA H100 GPU，其中 128 GPU 用于訓(xùn)練，另外 128 GPU 用于推理過(guò)程，確保模型訓(xùn)練的高效性和穩(wěn)定性。

在 SFT 階段，模型訓(xùn)練采用了 AdamW 優(yōu)化器，初始學(xué)習(xí)率為 3e - 6，并配置了余弦調(diào)度器來(lái)動(dòng)態(tài)調(diào)整學(xué)習(xí)率。同時(shí)，設(shè)置最大序列長(zhǎng)度為 8,192 個(gè) tokens，以容納較長(zhǎng)的數(shù)學(xué)問(wèn)題和對(duì)應(yīng)的 CoT 解決方案。

在 RL 階段，使用了恒定的學(xué)習(xí)率 2e - 7，批大小設(shè)置為 256，梯度累積步數(shù)為 1，最大序列長(zhǎng)度增加至 15,360 個(gè) tokens，以適應(yīng)更復(fù)雜的推理任務(wù)需求。此外，在 RL 訓(xùn)練中，每個(gè)提示進(jìn)行 4 次 rollout 以估計(jì)優(yōu)勢(shì)函數(shù)，并設(shè)置了溫度參數(shù)為 1.0，以及 80 個(gè) warmup 步驟來(lái)平穩(wěn)啟動(dòng)訓(xùn)練過(guò)程。

為了全面評(píng)估 ASTRO 的性能，研究人員選擇了三個(gè)廣泛使用的數(shù)學(xué)基準(zhǔn)測(cè)試：MATH - 500、AMC 2023 和 AIME 2024。這些基準(zhǔn)測(cè)試涵蓋了不同難度級(jí)別的數(shù)學(xué)問(wèn)題，包括代數(shù)、幾何、數(shù)論等多個(gè)領(lǐng)域，能夠有效衡量模型在數(shù)學(xué)推理任務(wù)上的能力。評(píng)估指標(biāo)方面，主要采用 pass@1 和 maj@8 兩種指標(biāo)。pass@1 指的是模型生成的多個(gè)解決方案中至少有一個(gè)正確的概率；maj@8 則是在 10 次不同運(yùn)行中，對(duì)每個(gè)問(wèn)題隨機(jī)抽取 8 個(gè)答案，計(jì)算多數(shù)答案正確的概率，從而更全面地反映模型的穩(wěn)定性和準(zhǔn)確性。

主要實(shí)驗(yàn)結(jié)果

ASTRO 在 MATH - 500 基準(zhǔn)測(cè)試中取得了顯著的性能提升。

Llama - 3.1 - 70B - ASTRO - RL 模型的 pass@1 分?jǐn)?shù)達(dá)到了 81.8%，相較于原始 Llama - 3.1 - 70B - Instruct 模型的 65.8% 提升了 16.0%；在 AMC 2023 基準(zhǔn)測(cè)試中，其 pass@1 分?jǐn)?shù)為 64.4%，相比原始模型的 37.5% 提升了 26.9%；而在 AIME 2024 基準(zhǔn)測(cè)試中，pass@1 分?jǐn)?shù)達(dá)到 30.0%，相較于原始模型的 10.0% 提升了 20.0%。同時(shí)，ASTRO 還與其他優(yōu)化方法進(jìn)行了對(duì)比。

例如，與基于 Llama - 3.1 - 70B - Instruct 的 SPOC 和 Step - KTO 方法相比，ASTRO - RL 在 MATH - 500 上分別高出 6.1% 和 4.6%（pass@1）；在 AIME 2024 上分別高出 9.4% 和 10.0%（pass@1）。即使與基于更強(qiáng)大的 Llama - 3.3 - 70B - Instruct 的 SPOC 和 Step - KTO 方法相比，ASTRO - RL 在 MATH - 500 上也持平或略勝一籌，在 AIME 2024 上與之相當(dāng)，充分證明了 ASTRO 在提升推理能力方面的優(yōu)勢(shì)。

主要實(shí)驗(yàn)結(jié)果。Llama-3.1-70B-ASTRO-SFT 在通過(guò)過(guò)程克隆獲得高質(zhì)量搜索軌跡方面，優(yōu)于 llama-3.1-70b-instruct。Llama-3.1-70B-ASTRO-RL 不僅優(yōu)于 llama-3.3-70b-instruct，還優(yōu)于基于 llama-3.1-70b-instruct 的 SPOC 和 Step-KTO，并且在 MATH-500 和 AIME 2024 上，甚至優(yōu)于或與基于 llama-3.3-70b-instruct 的 SPOC 和 Step-KTO 表現(xiàn)相當(dāng)。注意，在 AMC 2023 和 AIME 2024 的評(píng)估中，pass@1 分?jǐn)?shù)是基于 16 次不同運(yùn)行的平均值，而基線分?jǐn)?shù)則不是

在代數(shù)問(wèn)題求解方面，ASTRO 展現(xiàn)出強(qiáng)大的方程構(gòu)建和求解能力。例如，在處理多元高次方程組時(shí)，能夠通過(guò)自我反思和回溯，準(zhǔn)確找出錯(cuò)誤的假設(shè)和計(jì)算步驟，重新構(gòu)建正確的解題路徑，有效避免因錯(cuò)誤代入導(dǎo)致的解錯(cuò)問(wèn)題。在幾何問(wèn)題上，ASTRO 能夠靈活運(yùn)用幾何定理和公式，如在解決復(fù)雜的立體幾何體積計(jì)算問(wèn)題時(shí)，通過(guò)對(duì)幾何體結(jié)構(gòu)的深入分析和多次嘗試不同的分解方法，最終準(zhǔn)確計(jì)算出體積。對(duì)于組合數(shù)學(xué)問(wèn)題，ASTRO 能夠清晰地梳理組合邏輯，正確應(yīng)用排列組合公式，避免因重復(fù)計(jì)數(shù)或遺漏計(jì)數(shù)導(dǎo)致的錯(cuò)誤，在組合優(yōu)化問(wèn)題上表現(xiàn)出色。

在訓(xùn)練過(guò)程中，ASTRO 模型生成答案的長(zhǎng)度呈現(xiàn)出明顯的增長(zhǎng)趨勢(shì)。在 SFT 階段初期，模型生成的 CoT 長(zhǎng)度較短，平均在 1,600 - 1,800 個(gè) tokens 左右；隨著訓(xùn)練的進(jìn)行，尤其是在 RL 階段，模型逐漸學(xué)會(huì)了更深入地探索解空間，生成的 CoT 長(zhǎng)度不斷增加，在訓(xùn)練后期平均達(dá)到約 6,000 個(gè) tokens。同時(shí)，獎(jiǎng)勵(lì)分?jǐn)?shù)也呈現(xiàn)出穩(wěn)定的上升趨勢(shì)。初始階段，模型的正確解答率較低，獎(jiǎng)勵(lì)分?jǐn)?shù)（正確為 +1，錯(cuò)誤為 -1）平均值較低；但經(jīng)過(guò) RL 優(yōu)化后，模型的正確解答率顯著提升，獎(jiǎng)勵(lì)分?jǐn)?shù)平均值逐漸上升，表明模型在訓(xùn)練過(guò)程中不斷學(xué)習(xí)到更有效的推理策略和搜索方法，能夠更準(zhǔn)確地解決復(fù)雜的數(shù)學(xué)問(wèn)題。

實(shí)驗(yàn)結(jié)果表明，在經(jīng)過(guò)SFT（頂部）和RL（底部）訓(xùn)練后，基于相同的輸入數(shù)學(xué)問(wèn)題和從相同搜索樹中整理出的CoT解決方案，采用自我反思和回溯先驗(yàn)（ASTRO）進(jìn)行訓(xùn)練的模型，相比未采用自我反思和回溯先驗(yàn)（直接）進(jìn)行訓(xùn)練的模型，在所有基準(zhǔn)測(cè)試中均表現(xiàn)更優(yōu)

在通過(guò)強(qiáng)化學(xué)習(xí)（RL）訓(xùn)練 Llama-3.1-70B-ASTRO-RL 的過(guò)程中，其在 MATH-500、AMC 2023 和 AIME 2024 這三個(gè)基準(zhǔn)測(cè)試中的表現(xiàn)均隨著訓(xùn)練的推進(jìn)而穩(wěn)步提升。采用 pass@1 指標(biāo)進(jìn)行評(píng)估，其中 AMC 2023 和 AIME 2024 的指標(biāo)是通過(guò)對(duì) 16 次不同運(yùn)行的分?jǐn)?shù)取平均值得到的

搜索結(jié)果先驗(yàn)的影響

為了驗(yàn)證搜索先驗(yàn)的重要性，研究人員進(jìn)行了對(duì)比實(shí)驗(yàn)。在實(shí)驗(yàn)中，分別訓(xùn)練了帶有搜索先驗(yàn)的 ASTRO 模型和不帶有搜索先驗(yàn)的直接訓(xùn)練模型（Direct）。結(jié)果表明，ASTRO - SFT 模型在 MATH - 500 和 AMC 2023 基準(zhǔn)測(cè)試中均優(yōu)于 Direct - SFT 模型，分別高出 3.2% 和 6.0%（pass@1）；在 RL 階段，ASTRO - RL 模型相較于 Direct - RL 模型在所有基準(zhǔn)測(cè)試中均有顯著優(yōu)勢(shì)，MATH - 500 上高出 7.6%（pass@1），AMC 2023 上高出 13.5%（pass@1），AIME 2024 上高出 14.0%（pass@1）。這充分證明了搜索先驗(yàn)在模型推理能力提升中的關(guān)鍵作用，通過(guò)在訓(xùn)練數(shù)據(jù)中融入自我反思和回溯模式，模型能夠更好地學(xué)習(xí)到搜索式推理行為，從而在復(fù)雜問(wèn)題求解中表現(xiàn)更優(yōu)。

在 RL 訓(xùn)練過(guò)程中，研究人員記錄了模型執(zhí)行回溯操作的次數(shù)，并分析了其與評(píng)估性能之間的相關(guān)性。

在本研究中，對(duì)比了無(wú)搜索基線（Direct）和 ASTRO 在三個(gè)評(píng)估基準(zhǔn)上的強(qiáng)化學(xué)習(xí)（RL）訓(xùn)練曲線。從訓(xùn)練過(guò)程來(lái)看，使用搜索先驗(yàn)進(jìn)行訓(xùn)練的 ASTRO（深藍(lán)色曲線）與未使用搜索先驗(yàn)的無(wú)搜索基線（淺藍(lán)色曲線）之間存在明顯差異。這一結(jié)果充分展示了在強(qiáng)化學(xué)習(xí)中融入搜索先驗(yàn)的重要性

結(jié)果表明，隨著 RL 訓(xùn)練的推進(jìn)，模型執(zhí)行的回溯次數(shù)總體呈上升趨勢(shì)。進(jìn)一步的統(tǒng)計(jì)分析顯示，在 MATH - 500、AMC 2023 和 AIME 2024 三個(gè)基準(zhǔn)測(cè)試中，回溯次數(shù)與評(píng)估性能（pass@1 分?jǐn)?shù)）之間的 Pearson 相關(guān)系數(shù)分別為 0.816、0.851 和 0.854，呈現(xiàn)出高度正相關(guān)關(guān)系。這表明，模型在測(cè)試時(shí)執(zhí)行的回溯操作越多，其最終的評(píng)估性能越好，進(jìn)一步驗(yàn)證了搜索先驗(yàn)中自我反思和回溯模式對(duì)提升模型推理能力的重要貢獻(xiàn)。

定性分析與案例研究

以一道經(jīng)典的數(shù)學(xué)問(wèn)題為例：“已知一個(gè)三位數(shù)，其各位數(shù)字之和為 15，十位數(shù)字比百位數(shù)字大 1，且該三位數(shù)能被 3 整除，求這個(gè)三位數(shù)?！盇STRO 模型生成的推理過(guò)程如下：首先，定義百位、十位、個(gè)位數(shù)字分別為 a、b、c，根據(jù)題意列出方程：a + b + c = 15，且 b = a + 1。同時(shí)，由于該數(shù)能被 3 整除，根據(jù)被 3 整除的性質(zhì)，各位數(shù)字之和 15 本身能被 3 整除，但還需進(jìn)一步確定具體數(shù)字組合。接著，嘗試代入可能的 a 值。假設(shè) a = 1，則 b = 2，代入第一個(gè)方程得 c = 12，顯然不符合數(shù)字定義（0 ≤ c ≤ 9），因此回溯到 a 的選擇步驟。繼續(xù)嘗試 a = 2，則 b = 3，代入得 c = 10，同樣不符合條件，再次回溯。當(dāng)嘗試 a = 3 時(shí)，b = 4，c = 8，得到三位數(shù) 348，檢查發(fā)現(xiàn)其滿足所有條件：3 + 4 + 8 = 15，十位數(shù)字 4 比百位數(shù)字 3 大 1，且 348 能被 3 整除（348 ÷ 3 = 116），最終確定答案為 348。整個(gè)推理過(guò)程完整地體現(xiàn)了 ASTRO 模型的自我反思和回溯能力，通過(guò)不斷嘗試和糾正錯(cuò)誤，最終找到正確答案。

這是 Llama-3.1-70B-ASTRO-RL 解決 2023 年 AMC 問(wèn)題的一個(gè)示例。（左側(cè)）模型生成了一個(gè)包含自我反思（黑色）和回溯（藍(lán)色）的長(zhǎng)篇思維鏈（CoT），并探索解題空間，從錯(cuò)誤答案（紅色）的推理路徑中回溯，直至找到正確答案（綠色）的推理路徑。（右側(cè)）將該思維鏈映射為有向圖，其中節(jié)點(diǎn)代表離散的推理步驟。箭頭表示搜索過(guò)程，藍(lán)色箭頭表示回溯，虛線箭頭表示省略的中間步驟

在解決上述問(wèn)題時(shí)，ASTRO 模型首先根據(jù)題目條件建立數(shù)學(xué)模型，列出方程，這是其具備的基礎(chǔ)推理能力。在嘗試代入不同 a 值的過(guò)程中，模型表現(xiàn)出明顯的搜索行為，不斷探索可能的解空間。當(dāng)發(fā)現(xiàn)某些嘗試導(dǎo)致不符合實(shí)際的數(shù)字（如 c 超出 0 - 9 范圍）時(shí)，能夠及時(shí)回溯到前面的步驟，調(diào)整參數(shù)重新嘗試，體現(xiàn)了良好的錯(cuò)誤糾正能力。此外，模型在搜索過(guò)程中并非隨機(jī)嘗試，而是按照一定的邏輯順序（從小到大嘗試 a 值），這反映了其具備一定的搜索策略，能夠有效縮小解空間范圍，提高搜索效率。

相比之下，未使用搜索先驗(yàn)訓(xùn)練的模型在解決相同問(wèn)題時(shí)，生成的解決方案往往缺乏連貫性和邏輯性。例如，可能在嘗試 a = 1 得到 c = 12 后，未意識(shí)到錯(cuò)誤，繼續(xù)后續(xù)計(jì)算，最終生成不符合實(shí)際的三位數(shù)；或者在多次嘗試錯(cuò)誤后，無(wú)法有效總結(jié)經(jīng)驗(yàn)，陷入無(wú)限循環(huán)嘗試中，無(wú)法得出正確答案。而 ASTRO 模型憑借其搜索先驗(yàn)賦予的自我反思和回溯能力，能夠清晰地識(shí)別錯(cuò)誤，及時(shí)調(diào)整方向，最終成功解決問(wèn)題，這充分展示了 ASTRO 在推理任務(wù)中的顯著優(yōu)勢(shì)。

（頂部）在強(qiáng)化學(xué)習(xí)（RL）訓(xùn)練過(guò)程中，策略在訓(xùn)練提示中生成的平均回溯次數(shù)。我們的策略在強(qiáng)化學(xué)習(xí)訓(xùn)練期間整體上呈現(xiàn)出回溯次數(shù)不斷增加的趨勢(shì)。（底部）在強(qiáng)化學(xué)習(xí)訓(xùn)練期間評(píng)估的所有檢查點(diǎn)上，回溯次數(shù)與在評(píng)估基準(zhǔn)上的表現(xiàn)之間的相關(guān)性。散點(diǎn)圖顯示，在測(cè)試時(shí)執(zhí)行的回溯次數(shù)與我們基準(zhǔn)上的最終評(píng)估指標(biāo)之間存在正相關(guān)關(guān)系（皮爾遜相關(guān)系數(shù)分別為0.816、0.851、0.854）

其他同類研究工作

自我修正與推理

近年來(lái)，自我修正機(jī)制在語(yǔ)言模型訓(xùn)練中逐漸受到關(guān)注。研究表明，通過(guò)訓(xùn)練模型學(xué)習(xí)每一步的負(fù)反饋?lái)憫?yīng)，能夠有效幫助模型擺脫數(shù)據(jù)中的錯(cuò)誤模式，從而提升推理準(zhǔn)確性。例如，在數(shù)學(xué)問(wèn)題求解中，模型學(xué)會(huì)識(shí)別哪些解題步驟容易導(dǎo)致錯(cuò)誤，并主動(dòng)避免這些步驟。

而在預(yù)訓(xùn)練數(shù)據(jù)中添加帶有錯(cuò)誤解題步驟及其修正方法的數(shù)據(jù)，讓模型在學(xué)習(xí)過(guò)程中接觸正確和錯(cuò)誤的解題示例，從而更好地理解錯(cuò)誤的根源和糾正方法，進(jìn)而在合成數(shù)學(xué)數(shù)據(jù)集上取得了更高的準(zhǔn)確率。

還有研究采用迭代微調(diào)的方法，使模型能夠在上下文中自我改進(jìn)解決方案，實(shí)現(xiàn)推理性能的逐步提升。模型先生成初步解決方案，然后對(duì)其進(jìn)行自我評(píng)估和反思，找出可能存在的錯(cuò)誤，再通過(guò)微調(diào)進(jìn)一步優(yōu)化解決方案，經(jīng)過(guò)多輪迭代后，模型的推理能力得到顯著增強(qiáng)。

學(xué)習(xí)搜索以進(jìn)行推理

算法蒸餾方法可以通過(guò)自回歸方式將強(qiáng)化學(xué)習(xí)算法的知識(shí)和經(jīng)驗(yàn)融入神經(jīng)網(wǎng)絡(luò)，使模型能夠在無(wú)梯度更新的情況下，基于已學(xué)習(xí)到的搜索策略持續(xù)改進(jìn)自身性能。而引入的過(guò)程克隆技術(shù)，通過(guò)模仿專家計(jì)算步驟，使模型在新環(huán)境中表現(xiàn)出更優(yōu)的泛化能力，能夠快速適應(yīng)不同的搜索任務(wù)和環(huán)境要求。

Searchformer 模型在模仿 A* 搜索結(jié)果搜索算法的序列預(yù)測(cè)方面取得了顯著成果，成功解決了 Sokoban 拼圖問(wèn)題。它通過(guò)學(xué)習(xí) A* 搜索關(guān)鍵詞算法的搜索路徑和決策過(guò)程，將這種搜索行為轉(zhuǎn)化為模型的生成能力，使模型能夠在處理類似拼圖問(wèn)題時(shí)，生成有效的搜索步驟和解決方案。

另外，訓(xùn)練語(yǔ)言模型模仿不同的搜索策略（如 BFS 或 DFS），以應(yīng)對(duì) Countdown 任務(wù)，充分證明了學(xué)習(xí)搜索策略對(duì)于提升模型推理能力的可行性，模型在 Countdown 任務(wù)中的表現(xiàn)得到了明顯提升，能夠更快速、更準(zhǔn)確地找到符合條件的數(shù)字組合。

強(qiáng)化學(xué)習(xí)與推理

有研究表明，采用帶有可驗(yàn)證獎(jiǎng)勵(lì)的 RL 方法，相較于基于模型生成獎(jiǎng)勵(lì)的方法，能為模型提供更穩(wěn)定、更可靠的獎(jiǎng)勵(lì)信號(hào)，從而提升訓(xùn)練效果。這是因?yàn)榭沈?yàn)證獎(jiǎng)勵(lì)能夠基于真實(shí)答案對(duì)模型輸出進(jìn)行準(zhǔn)確評(píng)估，避免了模型生成獎(jiǎng)勵(lì)可能存在的偏差和噪聲干擾。

DeepSeek-AI 等團(tuán)隊(duì)利用 RL 與可驗(yàn)證獎(jiǎng)勵(lì)訓(xùn)練語(yǔ)言模型生成長(zhǎng) CoT，成功增強(qiáng)了模型的認(rèn)知行為，如自我修正和逐步推理能力。他們通過(guò)精心設(shè)計(jì)的獎(jiǎng)勵(lì)函數(shù)，鼓勵(lì)模型生成詳細(xì)的解題步驟和反思過(guò)程，使模型在解決復(fù)雜數(shù)學(xué)問(wèn)題時(shí)能夠展現(xiàn)出更深入的思考和分析能力。例如，在處理復(fù)雜的幾何證明問(wèn)題時(shí)，模型會(huì)生成包含多個(gè)中間推理步驟和自我反思的 CoT，逐步推導(dǎo)出最終答案，顯著提升了答案的正確性和可信度。

而基于 Qwen 基礎(chǔ)模型，采用 RL 與可驗(yàn)證獎(jiǎng)勵(lì)進(jìn)行訓(xùn)練，同樣取得了顯著的推理能力提升成果。在實(shí)驗(yàn)中，Qwen 模型在多個(gè)數(shù)學(xué)推理基準(zhǔn)測(cè)試上的性能得到了大幅提高，證明了該方法的有效性。例如，在解決代數(shù)方程組問(wèn)題時(shí)，模型能夠生成更準(zhǔn)確、更完整的解題步驟，正確率顯著提升，同時(shí)模型在推理過(guò)程中的穩(wěn)定性和可靠性也得到了增強(qiáng)，為后續(xù)的推理任務(wù)提供了有力支持。

總結(jié)

ASTRO 框架憑借其獨(dú)特的搜索軌跡生成、監(jiān)督微調(diào)和強(qiáng)化學(xué)習(xí)三階段訓(xùn)練模式，成功地將搜索算法的行為融入語(yǔ)言模型，顯著提升了開源 LLM 的推理能力。其主要貢獻(xiàn)在于提出了系統(tǒng)的搜索式推理訓(xùn)練方法，通過(guò)蒙特卡洛樹搜索生成高質(zhì)量的帶自我反思和回溯的 CoT 數(shù)據(jù)，為模型注入了搜索先驗(yàn)知識(shí)；并通過(guò)精心設(shè)計(jì)的 RL 訓(xùn)練策略，進(jìn)一步優(yōu)化模型的推理和搜索能力。這一創(chuàng)新框架不僅在理論上具有新穎性，在實(shí)際應(yīng)用中也展現(xiàn)出了強(qiáng)大的效果。ASTRO 在 MATH - 500、AMC 2023、AIME 2024 等基準(zhǔn)測(cè)試中的卓越表現(xiàn)，證明了其在解決復(fù)雜數(shù)學(xué)問(wèn)題上的強(qiáng)大潛力。相較于原始 Llama 模型和其他優(yōu)化方法，ASTRO 實(shí)現(xiàn)了顯著的性能提升，例如在 MATH - 500 上 pass@1 分?jǐn)?shù)提升了 16.0%，在 AMC 2023 上提升了 26.9%，在 AIME 2024 上提升了 20.0%。這些成果有力地驗(yàn)證了 ASTRO 框架的有效性，表明其能夠有效地提升開源 LLM 的推理能力，使其在面對(duì)復(fù)雜推理任務(wù)時(shí)表現(xiàn)出色。

ASTRO 為自然語(yǔ)言處理領(lǐng)域，尤其是在數(shù)學(xué)推理任務(wù)中，帶來(lái)了深遠(yuǎn)的影響。它打破了傳統(tǒng)強(qiáng)化學(xué)習(xí)方法對(duì)已有強(qiáng)推理能力模型的依賴，為非推理型模型（如 Llama 3）的推理能力提升開辟了新路徑。這拓寬了推理能力提升方法的應(yīng)用范圍，推動(dòng)了整個(gè)領(lǐng)域向更高效、更智能的方向發(fā)展。在數(shù)學(xué)推理任務(wù)中，ASTRO 使模型能夠更精準(zhǔn)地解決問(wèn)題，生成更詳細(xì)、更準(zhǔn)確的解題步驟，為教育、科研等領(lǐng)域提供了更強(qiáng)大的輔助工具。

ASTRO 為 LLM 推理能力研究提供了全新的思路和方法。它將搜索算法與語(yǔ)言模型相結(jié)合，通過(guò)模擬人類的搜索式推理過(guò)程，為模型賦予了自我反思和回溯的能力。這種創(chuàng)新的方法為后續(xù)研究提供了重要的啟示，引導(dǎo)研究者們從更廣泛的視角探索提升模型推理能力的途徑，如結(jié)合多種搜索算法、引入新的強(qiáng)化學(xué)習(xí)策略等，有望進(jìn)一步推動(dòng) LLM 推理能力的發(fā)展。