8卡32B模型超越o1預覽版、DeepSeek V3，普林斯頓、北大提出層次化RL推理新范式
一、引言
推理大語言模型（LLM），如 OpenAI 的 o1 系列、Google 的 Gemini、DeepSeek 和 Qwen-QwQ 等，通過模擬人類推理過程，在多個專業領域已超越人類專家，并通過延長推理時間提高準確性。推理模型的核心技術包括強化學習（Reinforcement Learning）和推理規模（Inference scaling）。
主流的大模型強化學習算法，如 DPO、PPO、GRPO 等，通常需要在完整的思維鏈上進行微調，需要高質量數據、精確的獎勵函數、快速反饋和在線迭代、以及大量的算力。當處理復雜任務，如高級數學和編程問題時，模型需要更細粒度的搜索、更精確的推理步驟和更長的思維鏈，導致狀態空間和策略空間的規模急劇擴大，難度大幅上升。
Inference scaling 策略，不依賴訓練，通過延長推理時間進一步提高模型的 Reasoning 能力。常見方法，如 Best-of-N 或者蒙特卡洛樹搜索（MCTS），允許 LLM 同時探索多條推理路徑，擴大搜索空間，朝著更有希望的方向前進。這些方法計算成本高，特別是步驟多或搜索空間大的時候。采樣隨機性使得確定最佳路徑困難，且依賴手動設計的搜索策略和獎勵函數，限制了泛化能力。
在此背景下，普林斯頓大學團隊聯合北京大學團隊合作開發了名為 ReasonFlux 的多層次（Hierarchical）LLM 推理框架。
- 文章鏈接：https://arxiv.org/abs/2502.06772
- 開源地址：https://github.com/Gen-Verse/ReasonFlux
（該論文作者特別聲明：本工作沒有蒸餾或用任何方式使用 DeepSeek R1。）
基于層次化強化學習（Hierachical Reinforcement Learning）思想，ReasonFlux 提出了一種更高效且通用的大模型推理范式，它具有以下特點：
- 思維模版：ReasonFlux 的核心在于結構化的思維模板，每個模版抽象了一個數學知識點和解題技巧。僅用 500 個通用的思維模板庫，就可解決各類數學難題。
- 層次化推理和強可解釋性：ReasonFlux 利用層次化推理（Hierarchical Reasoning）將思維模板組合成思維軌跡（Thought Template Trajectory）、再實例化得到完整回答。模型的推理過程不再是 “黑盒”，而是清晰的展現了推理步驟和依據，這為 LLM 的可解釋性研究提供了新的工具和視角，也為模型的調試和優化提供了便利。與 DeepSeek-R1 和 OpenAI-o1 等模型的推理方式不同，ReasonFlux 大大壓縮并凝練了推理的搜索空間，提高了強化學習的泛化能力，提高了 inference scaling 的效率。
- 輕量級系統：ReasonFlux 僅 32B 參數，強化訓練只用了 8 塊 NVIDIA A100-PCIE-80GB GPU。它能通過自動擴展思維模板來提升推理能力，更高效靈活。
ReasonFlux-32B 在多個數學推理基準測試中表現出色，僅僅用了 500 個基于不同數學知識點的思維模版，就展現了其強大的推理能力和躋身第一梯隊的實力。
二、ReasonFlux
三大關鍵技術構建大模型推理新框架
ReasonFlux 的性能提升得益于其三大核心技術：
- 結構化的思維模板抽取：ReasonFlux 利用大語言模型從以往的數學問題中提取了一個包含大約 500 個結構化思維模板的知識庫。每個模板都包含標簽、描述、適用范圍、應用步驟等信息，這些信息經過組織和結構化處理，為 LLM 的推理提供了元知識參考。這些模板覆蓋了多種數學問題類型和解題方法，如不等式求解、三角函數變換、極值定理等，是 ReasonFlux 進行推理的基礎。
- 多層次強化學習（Hierarchical RL） — 選擇最優的 Thought Template Trajectory：該算法通過 Hierarchical Reinforcement Learning 訓練一個 High-level 的 navigator，使其能夠對輸入問題進行拆解，轉而求解多個更簡單的子問題，根據子問題類型從模板庫中檢索相關的思維模板，并規劃出最優的 Thought Template Trajectory。它可以看作是解決問題的 “路線圖”，它由一系列的模板組合而成。這種基于 Hierarchical RL 的優化算法通過獎勵在相似問題上的泛化能力，提升了推理軌跡的魯棒性和有效性，使得 ReasonFlux 能夠舉一反三，為各種數學問題生成有效的思維模板軌跡。
- 新型 Inference Scaling 系統：該系統實現了結構化模板庫和 inference LLM 之間的多輪交互。“Navigator” 負責規劃模板軌跡和檢索模板，inference LLM 負責將模板實例化為具體的推理步驟，并通過分析中間結果來動態調整軌跡，實現高效的推理過程。這種交互機制使得 ReasonFlux 能夠根據問題的具體情況靈活調整推理策略，從而提高推理的準確性和效率。
（a）推理示例對比
接下來我們來分析 ReasonFlux 在解決實際問題上相較于 o1-mini 的對比。
我們來看和 o1-mini 的對比：
如上圖可知，o1-mini 在面對這道難題時，嘗試了多種策略，但均未能找到有效的突破口。它首先試圖通過引入新變量和利用對稱性來簡化方程組，但收效甚微；接著又嘗試假設變量相等來尋找特解，結果卻得出了矛盾；隨后，它試圖用一個變量表示其他變量，并嘗試平方去根號，但復雜的表達式使其望而卻步；最后，它甚至想到了三角換元，但由于未能正確應用，最終只能無奈地放棄求解。
相比之下，ReasonFlux 的解題過程如下：
- 分析與規劃：ReasonFlux 首先對題目進行分析，確定了解題的主要步驟：初步確定 k 值的范圍、利用三角換元、化簡方程組、求解 θ、計算目標值。這一步反映了 ReasonFlux 的問題分析和規劃能力，為后續解題過程提供了基礎。
- 模板化推理：ReasonFlux 隨后依次應用了 “三角換元”、“化簡方程組”、“求解 θ” 等模板，將復雜的方程組逐步簡化，并最終求解出 θ 的值。每一步都依據模板的指導，旨在保證解題過程的準確性。
- 逐步推導：ReasonFlux 根據求得的角度值，計算出 (x, y, z) 的值，并最終計算出目標值
，從而得到 (m=1, n=32, m+n=33)。整個過程邏輯清晰，步驟明確，展示了 ReasonFlux 的規劃和推理能力。
圖片
(b) 新的 inference scaling law
如上圖所示，隨著問題復雜度的增加，ReasonFlux 正確解答問題時所需的模板數量和交互輪數也相應增加。這表明 ReasonFlux 能夠根據問題的難度動態調整推理策略，體現了其優秀的自適應能力。并且可以觀察到，交互輪數的增長趨勢略高于模板數量，這意味著規劃能力的提升對解決復雜問題至關重要。
三、主流推理范式對比
ReasonFlux vs Best-of-N & MCTS
目前，提升 LLM 推理性能的主流方法通常依賴于增加模型規模和計算資源。例如，增加模型參數量、采用 Best-of-N 或蒙特卡洛樹搜索 (MCTS) 等方法來擴大搜索空間以尋找更優解。然而，這些方法往往計算成本較高，且模型的推理過程難以解釋。
ReasonFlux 采用了一種不同的方法，通過構建結構化的思維模板庫和設計新的層次化強化學習算法，實現了一種更高效和可解釋的推理方式。
傳統的 Inference Scaling 方法，如 Best-of-N 和 MCTS，主要通過擴大搜索空間來提高準確率。但隨著問題復雜度的增加，搜索空間呈指數級增長，導致計算成本顯著上升。
在 ReasonFlux 的推理過程中，Navigator 與 Inference LLM 之間存在多輪交互。Inference LLM 根據 Navigator 給出的模板軌跡執行推理步驟后，Navigator 會對執行結果進行評估
。如公式
所示，根據評估結果，Navigator 會動態調整模板軌跡
，例如修改當前步驟的模板、添加或刪除步驟等。這種迭代優化的機制使得 ReasonFlux 能夠根據問題的具體情況靈活調整推理策略，從而提高推理的準確性和效率。
ReasonFlux 通過引入結構化的思維模板，將搜索空間從 “原始解空間” 縮小到 “模板空間”，從而降低了搜索的難度和成本。如果說傳統的推理范式是 “大海撈針”，那么 ReasonFlux 則是 “按圖索驥”。這些模板并非簡單的規則堆砌，而是經過提煉和結構化處理的知識模板，它們將復雜的推理過程分解為一系列可復用的步驟，從而提升了推理的效率和準確率。
圖片
如上圖所示，隨著問題難度的提升，Best-of-N 和 MCTS 的探索成本（例如采樣軌跡數量和迭代次數）顯著增加，而 ReasonFlux 的探索成本（交互輪數）則保持在較低水平且相對穩定。這說明 ReasonFlux 能夠更高效地利用已有的知識模板來解決問題，而不需要像 Best-of-N 和 MCTS 那樣進行大量的試錯和探索。這得益于 ReasonFlux 的結構化模板庫和模板軌跡規劃機制，使其能夠在更小的搜索空間內找到正確的推理路徑。
四、訓練及推理框架介紹
下圖展示了 ReasonFlux 的訓練框架，其核心在于利用結構化的思維模板庫和基于思維模板軌跡獎勵的層次化強化學習算法，訓練出一個能夠進行高效推理的大模型。整個訓練過程可以分為兩個主要階段：結構化知識學習和思維模板軌跡優化。
1. 結構化知識學習階段：這個階段的目標是讓模型學習思維模板庫中蘊含的結構化知識。這些結構化的 Thought template 格式如下圖所示：
然后，我們利用這些結構化模板數據 
對一個基礎 LLM 進行微調，得到模型
。訓練的目標是讓模型能夠根據模板的名稱和標簽，生成對應的描述和適用范圍 。通過這個階段的訓練，模型學習到了模板庫中蘊含的豐富知識，并具備了初步的模板理解和應用能力。
2. 模板軌跡優化階段：這個階段的目標是訓練模型生成有效的模板軌跡，即針對特定問題，選擇合適的模板并進行排序，形成解決問題的 “路線圖”。我們利用新穎的基于 Thought Template Trajectory 的 Hierarchical RL 算法來實現這一目標。在這個階段，我們使用 
模型針對輸入問題 
生成多個候選的 high-level 思維模板軌跡
。每個軌跡由一系列步驟 
組成，每個步驟都關聯到一個特定的模板。為了評估軌跡的質量，我們構建了一組與輸入問題 
相似的問題集
。然后，我們利用 inference LLM 
根據模板軌跡對這些相似問題進行具體的解答，并計算平均準確率作為軌跡的獎勵
。基于這個獎勵信號，我們構建了優化樣本對
，其中
。然后，我們利用這些樣本對，通過 DPO 對 
進行進一步優化，得到最終的 navigator 模型
，也就是我們的 ReasonFlux 模型。
通過這兩個階段的訓練，ReasonFlux 模型不僅學習到了結構化的模板知識，還學會了如何針對特定問題選擇和組合模板，形成有效的推理路徑。這種能力使得 ReasonFlux 能夠高效地解決各種復雜的數學推理問題。
下圖是 ReasonFlux 的推理框架。其核心在于 navigator、inference LLM 和結構化模板庫之間的多輪交互。這種交互機制使得 ReasonFlux 能夠根據問題的具體情況靈活調整推理策略，從而提高推理的準確性和效率。
以下是 ReasonFlux 的推理流程：
通過這種 navigator 引導、inference LLM 執行、模板庫支持、動態調整軌跡的多輪交互機制，ReasonFlux 能夠高效地解決各種復雜的數學推理問題。這種推理框架不僅提高了推理的準確性和效率，還增強了模型的可解釋性，因為我們可以清晰地追蹤模型的推理過程和依據。
五、數學推理數據集上的表現
小模型媲美大模型，展現未來應用潛力
ReasonFlux 在 MATH、AIME 2024、AMC 2023、OlympiadBench 和 Gaokao En 2023 等多個具有挑戰性的數學推理數據集上進行了測試，并取得了良好的結果。
ReasonFlux-32B 在這些數據集上的表現處于前列，與其他先進模型相比具有競爭力。如下表所示，在 MATH 數據集上，ReasonFlux-32B 的準確率為 91.2%；在 AIME 2024 數據集上，ReasonFlux-32B 的準確率為 56.7%。這些結果表明 ReasonFlux 框架具有有效性。更重要的是，它表明較小規模的模型通過優化推理框架，可以達到甚至在某些情況下超越較大模型的性能。
ReasonFlux 還可用于不同大小（1.5B, 7B 和 32B）的基礎模型，并且都能獲得巨幅的推理效果提升，足見其通用性和泛化性。
ReasonFlux 的成功不僅限于數學推理領域，其背后的核心思想 —— 結構化思維模板和模板軌跡 —— 具有廣泛的應用潛力。未來，ReasonFlux 有潛力被應用于更多領域，如代碼生成，醫療診斷，具身智能等多個領域。
六、作者介紹
楊靈：北大在讀博士，普林斯頓高級研究助理，研究領域為大語言模型和擴散模型。
余昭辰：新加坡國立大學在讀碩士，北京大學 PKU-DAIR 實驗室科研助理，研究領域為大語言模型和擴散模型。
崔斌教授：崔斌現為北京大學計算機學院博雅特聘教授、博士生導師，擔任計算機學院副院長、數據科學與工程研究所所長。他的研究方向包括數據庫系統、大數據管理與分析、機器學習 / 深度學習系統等。
王夢迪教授：王夢迪現任普林斯頓大學電子與計算機工程系終身教授，并創立并擔任普林斯頓大學 “AI for Accelerated Invention” 中心的首任主任。她的研究領域涵蓋強化學習、可控大模型、優化學習理論以及 AI for Science 等多個方向。
