本論文由新加坡國立大學(xué)、A*STAR 前沿人工智能研究中心、東北大學(xué)、Sea AI Lab、Plastic Labs、華盛頓大學(xué)的研究者合作完成。劉博、Leon Guertler、余知樂、劉梓辰為論文共同第一作者。劉博是新加坡國立大學(xué)博士生，研究方向為可擴(kuò)展的自主提升，致力于構(gòu)建能在未知環(huán)境中智能決策的自主智能體。Leon Guertler 是 A*STAR 前沿人工智能研究中心研究員，專注于小型高效語言模型研究。余知樂是東北大學(xué)博士生，研究方向為語言模型的對齊和后訓(xùn)練。劉梓辰是新加坡國立大學(xué)和 Sea AI Lab 的聯(lián)合培養(yǎng)博士生，主要研究語言模型的強(qiáng)化學(xué)習(xí)訓(xùn)練。通訊作者 Natasha Jaques 是華盛頓大學(xué)教授，在人機(jī)交互和多智能體強(qiáng)化學(xué)習(xí)領(lǐng)域有深厚造詣。

近年來，OpenAI o1 和 DeepSeek-R1 等模型的成功證明了強(qiáng)化學(xué)習(xí)能夠顯著提升語言模型的推理能力。通過基于結(jié)果的獎勵機(jī)制，強(qiáng)化學(xué)習(xí)使模型能夠發(fā)展出可泛化的推理策略，在復(fù)雜問題上取得了監(jiān)督微調(diào)難以企及的進(jìn)展。

然而，當(dāng)前的推理增強(qiáng)方法面臨著根本性的可擴(kuò)展性瓶頸：它們嚴(yán)重依賴精心設(shè)計的獎勵函數(shù)、特定領(lǐng)域的數(shù)據(jù)集和專家監(jiān)督。每個新的推理領(lǐng)域都需要專家制定評估指標(biāo)、策劃訓(xùn)練問題。這種人工密集的過程在追求更通用智能的道路上變得越來越不可持續(xù)。

來自新加坡國立大學(xué)、A*STAR、東北大學(xué)等機(jī)構(gòu)的聯(lián)合研究團(tuán)隊提出了 SPIRAL（Self-Play on zero-sum games Incentivizes Reasoning via multi-Agent multi-turn reinforcement Learning），通過讓模型在零和游戲中與自己對弈，自主發(fā)現(xiàn)并強(qiáng)化可泛化的推理模式，完全擺脫了對人工監(jiān)督的依賴。

• 論文標(biāo)題： SPIRAL: Self-Play on Zero-Sum Games Incentivizes Reasoning via Multi-Agent Multi-Turn Reinforcement Learning
  
• 論文鏈接：https://huggingface.co/papers/2506.24119
  
• 代碼鏈接：https://github.com/spiral-rl/spiral

游戲作為推理訓(xùn)練場：從撲克到數(shù)學(xué)的驚人跨越

研究團(tuán)隊的核心洞察是：如果強(qiáng)化學(xué)習(xí)能夠從預(yù)訓(xùn)練語言模型中選擇出可泛化的思維鏈（Chain-of-Thought, CoT）模式，那么游戲為這一過程提供了完美的試煉場：它們通過輸贏結(jié)果提供廉價、可驗證的獎勵，無需人工標(biāo)注。通過在這些游戲上進(jìn)行自對弈，強(qiáng)化學(xué)習(xí)能夠自動發(fā)現(xiàn)哪些 CoT 模式在多樣化的競爭場景中獲得成功，并逐步強(qiáng)化這些模式，創(chuàng)造了一個自主的推理能力提升系統(tǒng)。

最令人驚訝的發(fā)現(xiàn)是：僅通過庫恩撲克（Kuhn Poker）訓(xùn)練，模型的數(shù)學(xué)推理能力平均提升了 8.7%，在 Minerva Math 基準(zhǔn)測試上更是躍升了 18.1 個百分點！要知道，在整個訓(xùn)練過程中，模型從未見過任何數(shù)學(xué)題目、方程式或?qū)W術(shù)問題。

SPIRAL 框架：讓競爭驅(qū)動智能涌現(xiàn)

多回合零和游戲的獨特價值

SPIRAL 選擇了三種具有不同認(rèn)知需求的游戲作為訓(xùn)練環(huán)境：

• 井字棋（TicTacToe）：需要空間模式識別和對抗性規(guī)劃。玩家必須識別獲勝配置、阻止對手威脅并規(guī)劃多步策略。研究團(tuán)隊假設(shè)這些技能會遷移到幾何問題求解和空間可視化任務(wù)。
• 庫恩撲克（Kuhn Poker）：一個最小化的撲克變體，只有三張牌（J、Q、K），玩家在隱藏信息下進(jìn)行下注。成功需要概率計算、對手建模和不確定性下的決策。這些能力預(yù)期會遷移到涉及概率、期望值和戰(zhàn)略不確定性的問題。
• 簡單談判（Simple Negotiation）：一個資源交易游戲，兩個玩家交換具有相反估值的木材和黃金以最大化投資組合價值。成功需要多步規(guī)劃、心智理論建模和通過提議與反提議進(jìn)行戰(zhàn)略溝通。

自對弈的魔力：永不停歇的進(jìn)化

與固定對手訓(xùn)練相比，自對弈具有獨特優(yōu)勢。研究發(fā)現(xiàn)：

• 對抗強(qiáng)大的固定對手（Gemini-2.0-Flash-Lite）：初始勝率為 0%（無學(xué)習(xí)信號），最終停滯在 62.5%（開發(fā)出固定的對抗策略）。
• 對抗隨機(jī)對手：完全崩潰，由于「回合詛咒」使得完成有效游戲變得極其困難。
• 自對弈：始終保持 50-52% 的勝率，確認(rèn)對手與學(xué)習(xí)者完美同步進(jìn)化。

這種自適應(yīng)的難度調(diào)整是關(guān)鍵所在。隨著模型改進(jìn)，它的對手也在改進(jìn)，創(chuàng)造了一個自動調(diào)整的課程體系。

從游戲到數(shù)學(xué)：推理模式的神奇遷移

三種核心推理模式的發(fā)現(xiàn)

通過分析數(shù)千個游戲軌跡和數(shù)學(xué)解題過程，研究團(tuán)隊發(fā)現(xiàn)了三種在游戲中產(chǎn)生并遷移到數(shù)學(xué)推理的核心模式：

• 期望值計算：在游戲中從 15% 增長到 78% 的使用率，遷移到數(shù)學(xué)問題時保持 28% 的使用率。例如，在撲克中計算「跟注的期望值 = 獲勝概率 × 2 - 失敗概率 × 2」，這種思維直接應(yīng)用于數(shù)學(xué)中的概率和優(yōu)化問題。
• 逐案分析：在撲克決策中出現(xiàn)率達(dá) 72%，以 71% 的高保真度遷移到數(shù)學(xué)問題求解。游戲中的「情況 1：棄牌損失 1 籌碼；情況 2：跟注但失敗損失 2 籌碼」模式，完美對應(yīng)數(shù)學(xué)中的分類討論方法。
• 模式識別：展現(xiàn)出放大效應(yīng)——游戲中 35% 的使用率在數(shù)學(xué)領(lǐng)域增長到 45%。這表明游戲訓(xùn)練增強(qiáng)了模型本就存在的數(shù)學(xué)模式識別能力。

不同游戲培養(yǎng)不同技能

實驗發(fā)現(xiàn)，不同游戲確實培養(yǎng)了專門化的認(rèn)知能力：

• 井字棋專家在空間推理游戲 Snake 上達(dá)到 56% 勝率。
• 庫恩撲克大師在概率游戲 Pig Dice 上取得驚人的 91.7% 勝率。
• 簡單談判專家在戰(zhàn)略優(yōu)化游戲上表現(xiàn)出色。

更有趣的是，當(dāng)結(jié)合多個游戲訓(xùn)練時，技能產(chǎn)生協(xié)同效應(yīng)。在 Liar's Dice 上，單一游戲?qū)＜抑荒苓_(dá)到 12-25% 的勝率，而多游戲訓(xùn)練模型達(dá)到 51.4%。

技術(shù)創(chuàng)新：讓自對弈穩(wěn)定高效

分布式在線多智能體強(qiáng)化學(xué)習(xí)系統(tǒng)

為了實現(xiàn) SPIRAL，研究團(tuán)隊開發(fā)了一個真正的在線多智能體、多回合強(qiáng)化學(xué)習(xí)系統(tǒng)，用于微調(diào)大語言模型。該系統(tǒng)采用分布式 actor-learner 架構(gòu)，能夠跨多個雙人零和語言游戲進(jìn)行全參數(shù)更新的在線自對弈。

角色條件優(yōu)勢估計（RAE）：防止思維崩潰的關(guān)鍵

研究中一個關(guān)鍵發(fā)現(xiàn)是，沒有適當(dāng)?shù)姆讲顪p少技術(shù)，模型會遭受「思維崩潰」——在 200 步后停止生成推理軌跡，收斂到最小輸出如「<think></think><answer>bet</answer>」。

角色條件優(yōu)勢估計（RAE）通過為每個游戲和角色維護(hù)單獨的基線來解決這個問題。它考慮了角色特定的不對稱性（如井字棋中的先手優(yōu)勢），確保梯度更新反映真正的學(xué)習(xí)信號而不是位置固有的優(yōu)勢。

實驗表明，沒有 RAE，數(shù)學(xué)性能從 35% 崩潰到 12%（相對下降 66%），梯度范數(shù)趨近于零。RAE 在整個訓(xùn)練過程中保持穩(wěn)定的梯度和推理生成。

廣泛影響：強(qiáng)模型也能受益

SPIRAL 不僅對基礎(chǔ)模型有效。在 DeepSeek-R1-Distill-Qwen-7B（一個已經(jīng)在推理基準(zhǔn)測試上達(dá)到 59.7% 的強(qiáng)大模型）上應(yīng)用多游戲 SPIRAL 訓(xùn)練后，性能提升到 61.7%。特別值得注意的是，AIME 2025 的分?jǐn)?shù)從 36.7% 躍升至 46.7%，足足提升了 10 個百分點！

這表明競爭性自對弈能夠解鎖傳統(tǒng)訓(xùn)練未能捕獲的推理能力，即使在最先進(jìn)的模型中也是如此。

深入分析：為什么游戲能教會數(shù)學(xué)？

研究團(tuán)隊認(rèn)為，這種跨領(lǐng)域遷移之所以可能，有三個關(guān)鍵因素：

• 競爭壓力剝離記憶依賴：自對弈對手不斷進(jìn)化，迫使模型發(fā)展真正的推理能力而非模式匹配。在傳統(tǒng)的監(jiān)督學(xué)習(xí)中，模型可能通過記憶特定模式來「作弊」，但在對抗不斷變化的對手時，只有真正的推理策略才能持續(xù)獲勝。
• 游戲提供純凈的推理環(huán)境：游戲規(guī)則簡單明確，不需要復(fù)雜的領(lǐng)域知識，讓模型能專注學(xué)習(xí)基本的認(rèn)知操作（枚舉、評估、綜合），這些操作能夠有效泛化。庫恩撲克中的「如果對手有 K，我應(yīng)該棄牌」的推理結(jié)構(gòu)，與數(shù)學(xué)中的條件推理具有相同的邏輯框架。
• 結(jié)構(gòu)化輸出搭建領(lǐng)域橋梁：在游戲中學(xué)習(xí)的 <think> 格式提供了一個推理支架，模型在數(shù)學(xué)問題中會重用這種結(jié)構(gòu)。這種格式化的思考過程成為了跨領(lǐng)域知識遷移的載體。

對強(qiáng)化學(xué)習(xí)研究的啟示

SPIRAL 的獨特貢獻(xiàn)在于展示了游戲作為推理訓(xùn)練場的潛力。雖然 DeepSeek-R1 等模型已經(jīng)證明強(qiáng)化學(xué)習(xí)能顯著提升推理能力，但 SPIRAL 走得更遠(yuǎn)：它完全擺脫了對數(shù)學(xué)題庫、人工評分的依賴，僅憑游戲輸贏這一簡單信號就實現(xiàn)了可觀的推理提升。

研究還揭示了多智能體強(qiáng)化學(xué)習(xí)在語言模型訓(xùn)練中的獨特價值。與單智能體設(shè)置相比，多智能體環(huán)境提供了更豐富的學(xué)習(xí)信號和更魯棒的訓(xùn)練動態(tài)。這為未來的研究開辟了新方向：

• 混合博弈類型：結(jié)合零和、合作和混合動機(jī)游戲，可能培養(yǎng)更全面的推理能力。
• 元游戲?qū)W習(xí)：讓模型不僅玩游戲，還能創(chuàng)造新游戲，實現(xiàn)真正的創(chuàng)造性推理。
• 跨模態(tài)游戲：將語言游戲擴(kuò)展到包含視覺、音頻等多模態(tài)信息，培養(yǎng)更豐富的認(rèn)知能力。

實踐意義與局限性

實踐意義

對于希望提升模型推理能力的研究者和工程師，SPIRAL 提供了一種全新的思路。不需要收集大量高質(zhì)量的推理數(shù)據(jù)，只需要設(shè)計合適的游戲環(huán)境。研究團(tuán)隊已經(jīng)開源了完整的代碼實現(xiàn)，包括分布式訓(xùn)練框架和游戲環(huán)境接口。

更重要的是，SPIRAL 驗證了一個關(guān)鍵假設(shè)：預(yù)訓(xùn)練模型中已經(jīng)包含了各種推理模式，強(qiáng)化學(xué)習(xí)的作用是從這些模式中篩選和強(qiáng)化那些真正可泛化的思維鏈。這改變了我們對模型能力提升的理解。我們不是向模型灌輸新的推理方法，而是通過競爭壓力讓有效的推理策略自然勝出，無效的被淘汰。游戲環(huán)境就像一個進(jìn)化選擇器，只有真正通用的推理模式才能在不斷變化的對手面前存活下來。

當(dāng)前局限

盡管取得了顯著成果，SPIRAL 仍有一些局限性需要在未來工作中解決：

• 游戲環(huán)境依賴：雖然消除了人工策劃問題的需求，但仍需要設(shè)計游戲環(huán)境。
• 計算資源需求：每個實驗需要 8 塊 H100 GPU 運(yùn)行 25 小時，這對許多研究團(tuán)隊來說是個挑戰(zhàn)。
• 性能瓶頸：在長時間訓(xùn)練后，性能提升會趨于平緩，需要新的技術(shù)突破。
• 評估局限：當(dāng)前評估主要集中在學(xué)術(shù)基準(zhǔn)測試，對現(xiàn)實世界推理任務(wù)的影響還需進(jìn)一步驗證。

結(jié)語

SPIRAL 的工作不僅僅是一個技術(shù)突破，更代表了對智能本質(zhì)的新理解。它表明，復(fù)雜的推理能力可能不需要通過精心設(shè)計的課程來教授，而是可以通過簡單的競爭環(huán)境自然涌現(xiàn)。

當(dāng)我們看到一個只會下庫恩撲克的模型突然在數(shù)學(xué)考試中表現(xiàn)更好時，我們不禁要問：智能的本質(zhì)到底是什么？也許，正如 SPIRAL 所展示的，智能不是關(guān)于掌握特定知識，而是關(guān)于發(fā)展可以跨越領(lǐng)域邊界的思維模式。

這項研究為自主 AI 發(fā)展指明了一個充滿希望的方向。在這個方向上，AI 系統(tǒng)通過相互競爭不斷進(jìn)化，發(fā)現(xiàn)我們從未想象過的推理策略，最終可能超越人類設(shè)計的任何課程體系。正如研究團(tuán)隊在論文中所說：「這只是將自對弈嵌入語言模型訓(xùn)練的第一步嘗試。」