Thinkless框架：讓LLM學會“聰明偷懶”的智慧
大家好，我是肆〇柒。今天，我想和大家聊一下，我看到關于自適應思考的另外一片論文，它介紹了Thinkless 框架，并且還有開源倉庫。今天我們要了解的 Thinkless 這個框架，由新加坡國立大學的研究人員提出，它能夠巧妙地解決當前推理語言模型（LLM）在處理簡單問題時過度推理、浪費資源的難題。
以往，推理語言模型如同一位不知疲倦的學者，無論面對的是復雜深奧的數學定理，還是簡單如孩童般的算術問題，它都會一絲不茍地展開 lengthy 的推理過程。然而，這種“過度勤奮”卻帶來了計算資源的巨大浪費。每一次冗余的推理都是對效率的無情吞噬，讓本可以迅速給出的簡潔答案，也變得拖沓而冗長。
這種現象引發了 Thinkless 研究人員的思考：如何讓 LLM 擁有自主決策推理深度的智慧，在效率與性能之間找到精妙的平衡？新加坡國立大學的研究人員給出了他們的答案——Thinkless 框架。這一思路不僅讓模型學會了“聰明偷懶”，更在效率與性能之間找到了平衡。
研究背景與動機：推理模型的“效率困局”
推理語言模型通過鏈式思考，一步步攻克難題，展現出驚人的能力。然而，這種“萬能鑰匙”式的推理方式卻隱藏著效率危機。當我們回顧模型的推理過程時，會發現一種“一刀切”的思維慣性：無論問題難易，都啟動復雜推理機制。
這種慣性帶來的后果是顯而易見的。在簡單的加減法問題上，模型依然會生成冗長的推理鏈條，每一步都詳盡到近乎繁瑣，導致 token 生成數量激增。這不僅讓內存占用如同吹氣球般膨脹，更讓計算成本節節攀升，仿佛在用大象的力氣去搬動螞蟻的食物。
Thinkless 框架的提出，正是為了打破這一困局。它可以賦予 LLM 一種“情境感知”的能力，使其能夠像經驗豐富的工匠一樣，根據手頭任務的復雜度和自身技藝的精湛程度，靈活地選擇最合適的工具。
Thinkless框架：讓LLM“聰明偷懶”的核心
雙控制Token：簡潔與深度的抉擇之門
Thinkless 框架的核心創新之一在于引入了兩個 special Token：<short> 和 <think>。這兩個Token就好比是模型手中的兩把鑰匙，分別對應著簡潔回答和詳細推理的大門。
在實際操作中，當模型面對一個輸入查詢時，它首先會快速評估問題的復雜程度。如果問題像是簡單的加減法運算，模型會毫不猶豫地選擇 <short> Token，直接給出簡潔明了的答案，無需多余贅述。而當問題變成復雜的多元方程求解時，<think> Token會被激活，模型隨即開啟深度推理模式，步步為營，直至找到問題的解決之道。
DeGRPO算法：精準調控的“智慧大腦”
Decoupled Group Relative Policy Optimization（DeGRPO）算法是 Thinkless 框架的智慧核心，它巧妙地將混合推理目標分解為兩大關鍵任務：模式選擇和答案準確性提高。
在傳統的強化學習方法中，模型往往陷入一種“失衡”的困境。長鏈推理由于 token 數量多，會主導學習信號，使得短鏈推理難以獲得足夠的優化權重，最終導致模型在訓練初期就迅速偏向長鏈推理，失去了多樣性。而 DeGRPO 算法通過獨立地對控制Token和響應Token進行歸一化處理，引入一個長度無關的權重系數 α，確保了兩種推理模式在優化過程中的平等對話。
數學公式層面，算法首先定義了一個簡單的獎勵函數 r(a, y?, c)，對不同推理模式下的正確和錯誤答案賦予不同的獎勵值。例如，對于短鏈正確答案給予最高獎勵 1.0，而長鏈正確答案則給予略低的獎勵 1.0?γ，以此體現對短鏈答案的偏好。
在優化目標方面，DeGRPO 將原始的 GRPO 框架進行擴展。對于每一個查詢樣本，算法從當前策略中抽取一批樣本，計算每個 token 級別的優勢函數。通過巧妙地分離控制Token和響應Token的貢獻，使得模式選擇和答案準確性提高這兩個目標能夠獨立地貢獻于整體優化過程，從而避免了傳統方法中由于序列長度差異導致的梯度不平衡問題。
下圖展示了 Thinkless 框架如何通過兩個 special Token <think> 和 <short>，結合 DeGRPO 算法，實現對推理模式的動態選擇。這一過程不僅提高了模型的效率，還保證了答案的準確性。
Thinkless 學習了一種混合型 LLM，能夠自適應地在思考推理模式和非思考推理模式之間進行選擇，這一選擇過程由兩個 special tokens：<think> 和 <short> 來引導。方法的核心是 Decoupled Group Relative Policy Optimization，它將模式選擇在控制 token 上的分解與在響應 token 上的準確性提升進行了平衡
實驗設計與結果：Thinkless的“實力驗證之旅”
實驗環境搭建
在實驗設置方面，研究人員精心選擇了 DeepSeek-R1-Distill-Qwen-1.5B 作為基礎模型，搭配 DeepScaleR 數據集進行強化學習訓練。訓練硬件配置為 4 塊 H100 GPU，最大上下文長度在預訓練熱身階段設為 16K，強化學習階段擴展至 24K。優化器選用 AdamW，學習率設定為 1×10?6，批次大小為 128，每個查詢采樣 8 個響應，確保了實驗的嚴謹性和可重復性。
對比實驗的“高光時刻”
在與基線模型的對比中，Thinkless 顯示出了壓倒性的優勢。以 Minerva Algebra 數據集為例，基線模型 DeepSeek-R1-1.5B 在追求高準確率的同時，token 使用量高達 18063，而 Thinkless 僅使用了 7099 個 token，token 使用量減少了近 60%，準確率卻依然保持在 94.59%，幾乎與基線模型持平。
與其他技術的對比同樣令人矚目。模型融合方法雖然能在一定程度上減少 token 使用量，但在不同數據集上的表現波動較大，難以兼顧效率與性能。CoT-Valve 技術雖然提供了可調節的推理長度，但需要針對每個數據集手動調整參數，缺乏自適應性。而基于路由器的方法則受限于獨立模型對目標模型能力的有限理解，無法做出精準的推理模式決策。
關鍵結論的“硬核數據”
在多個基準測試中，Thinkless 的表現堪稱驚艷。在 Minerva Algebra 數據集上，長鏈推理使用比例僅為 25.88%，token 使用量大幅減少，準確率卻高達 94.59%；在 AIME 2024 數據集中，面對復雜問題，Thinkless 依然能保持 27.33% 的準確率，且推理模式使用比例高達 100%，展現了強大的適應能力；在 GSM8K 數據集上，長鏈推理使用比例僅為 13.31%，準確率卻達到了 84.18%。
為了更直觀地呈現 Thinkless 的優勢，我們繪制了如下對比柱狀圖和折線圖。這些圖表展示了 Thinkless 在減少長鏈推理使用頻率和保持高準確率方面的顯著優勢。
混合推理的實證結果。對于混合算法，研究人員還報告了在評估過程中以思考模式執行的查詢所占的比例。
訓練動態與策略分析：深度剖析模型的“學習成長之路”
訓練過程的“可視化奇觀”
在強化學習訓練過程中，研究人員發現了一個有趣的現象：傳統 GRPO 方法常常會遭遇模式崩潰問題。模型在訓練初期會迅速偏向長鏈推理，導致短鏈推理幾乎消失，仿佛模型被一種“長鏈偏好癥”所困擾。然而，DeGRPO 算法的引入徹底改變了這一局面。
下圖展示了傳統 GRPO 和 DeGRPO 算法在訓練過程中的模式選擇變化曲線。從圖中可以看出，傳統 GRPO 的長鏈推理樣本數量在訓練初期迅速上升，而后又急劇下降，最終趨于穩定，呈現出一種“過山車”式的不穩定趨勢。
訓練策略對比：普通GRPO與解耦GRPO
而 DeGRPO 算法則展現出了獨特的 U 型學習曲線。在訓練初期，由于長鏈推理的準確率相對較高，模型會傾向于選擇長鏈推理。但隨著訓練的深入，短鏈推理的準確率逐漸提升，模型開始更多地探索短鏈推理的可能性，短鏈推理樣本數量逐漸增加，最終在訓練后期達到一個相對平衡的狀態。
控制Token權重的“微妙影響”
控制Token權重 α 在模型學習過程中扮演著至關重要的角色。當 α 值較大時，模型對模式選擇的學習速度會顯著加快。這意味著在訓練初期，模型會更早地學會如何在短鏈和長鏈推理之間做出選擇，從而更早地出現全正確的短鏈樣本。
然而，過大的 α 值也并非全然無弊。它可能導致模型過早地將一些樣本分配給長鏈推理模式，而忽視了這些樣本在短鏈推理下可能達到的高準確率。這種情況下，模型的決策會變得過于“急功近利”，沒有充分考慮到長期的優化潛力。
相反，一個適中的 α 值能夠實現模式選擇和答案準確性提高的平衡學習。模型會在訓練過程中逐步探索兩種推理模式的優劣，根據問題的復雜度和自身能力動態調整策略，最終達到一種“智慧”的決策狀態。
一個較大的token損失系數α加速了推理行為的轉變，導致all-correct short-mode samples（全正確短模式樣本）的迅速出現
梯度變化與參數更新的“幕后故事”
在不同訓練階段，模型的梯度變化情況和參數更新頻率也呈現出獨特的規律。在訓練初期，由于長鏈推理樣本占據主導地位，長鏈推理相關的參數更新較為頻繁，梯度變化也較大。此時，模型主要在學習如何通過長鏈推理解決復雜問題，提升整體準確率。
隨著訓練的進行，短鏈推理的準確率逐漸提升，短鏈推理相關的參數更新開始增加，梯度變化也逐漸趨于穩定。這一階段，模型開始更多地關注如何在保證準確率的前提下減少 token 使用量，提高推理效率。
研究人員詳細記錄了控制Token權重 α 在不同訓練階段的具體調整策略。例如，在訓練初期，給予推理模型較高的權重，使其能夠充分傳授長鏈推理的精髓。隨著訓練的深入，逐漸增加指令遵循模型的權重，使目標模型能夠更好地掌握簡潔回答的技巧。
通過這種精心設計的訓練策略，模型在不同階段都能夠獲得最有效的學習信號，從而實現高效的推理模式選擇和答案準確性提高。
預訓練與蒸餾細節：構建混合推理模型的“基石工程”
知識蒸餾：打造“雙面專家”
在預訓練熱身階段，知識蒸餾方法被巧妙地運用，為 Thinkless 框架奠定了堅實的基礎。研究人員利用兩個預訓練專家模型：推理模型和指令遵循模型，分別擅長長鏈推理和簡潔回答。這兩個模型如同兩位經驗豐富的導師，共同指導目標模型的學習。
在蒸餾過程中，目標模型需要同時學習兩位導師的專長。為了實現這一目標，研究人員精心設計了配對數據集的生成方法。他們從海量問題中篩選出具有代表性的樣本，根據問題的復雜度和領域相關性進行分類。對于簡單問題，主要參考指令遵循模型的簡潔回答；而對于復雜問題，則借鑒推理模型的長鏈推理過程。
為了平衡兩位導師的影響力，研究人員采用了巧妙的權重分配策略。在訓練初期，給予推理模型較高的權重，使其能夠充分傳授長鏈推理的精髓。隨著訓練的深入，逐漸增加指令遵循模型的權重，使目標模型能夠更好地掌握簡潔回答的技巧。
通過這種精心設計的蒸餾過程，目標模型不僅能夠生成高質量的長鏈和短鏈回答，還能夠根據輸入問題的復雜度靈活調整回答風格，為后續的強化學習階段打下了堅實的基礎。
ThinkLess訓練了一個混合模型，該模型能夠根據任務復雜性和模型容量自適應地選擇推理模式。這一過程始于蒸餾，使模型能夠遵循控制token（<think>或<short>）來進行引導式推理。隨后，通過使用解耦的GRPO進行強化學習，將訓練分解為兩個目標：優化控制token以實現有效的模式選擇，以及精煉回答以提高答案的準確性
數據集效果的“邊際遞減之謎”
在實驗中，研究人員對比了不同規模和領域的蒸餾數據集對模型性能的影響。從 OpenR1-97K 到 OpenThoughts-114K，再到 OpenThoughts-1M，數據集的規模和領域覆蓋范圍逐漸擴大。結果顯示，較大的數據集確實能夠帶來更好的性能提升，但當數據集規模超過一定閾值后，邊際收益開始遞減。
OpenR1-97K 數據集雖然規模較小，但其數學領域的專業性使得目標模型能夠快速掌握簡潔回答的技巧。然而，在面對復雜問題時，模型的長鏈推理能力稍顯不足。
OpenThoughts-114K 數據集在規模和領域覆蓋上都有所擴展，目標模型在長鏈推理和簡潔回答方面的表現都有了顯著提升。但當數據集進一步擴展到 OpenThoughts-1M 時，雖然模型的長鏈推理準確率略有提高，但簡潔回答的性能提升卻并不明顯。
這一現象表明，在構建混合推理模型時，數據集的規模并非越大越好。關鍵在于數據的質量和多樣性，以及如何根據模型的特點和任務需求進行合理選擇。未來的研究可以進一步探索如何優化數據集的構建方法，提高數據的利用效率，從而實現更高效的混合推理模型訓練。
在熱身階段，不同的SFT數據集的有效性。由于這些模型尚未通過強化學習進行優化，因此手動插入控制token <think>和<short>以引出所需的響應模式
案例研究：Thinkless的“實戰演練”
MATH-500數據集的概率分布“全景圖”
在 MATH-500 數據集中，研究人員展示了 Thinkless 模型對不同難度問題選擇 <think> Token的概率分布。從概率分布圖中可以看出，模型能夠根據問題的復雜度做出精準的判斷。
例如，對于簡單的算術問題“7 加 2 等于多少”，模型選擇 <short> Token的概率極高，幾乎接近 100%。這是因為這類問題無需復雜的推理過程，直接給出答案即可。而對于復雜的代數問題，如“求解一元二次方程的根”，模型選擇 <think> Token的概率則高達 90%。
在MATH-500中模型發出“<think>”的概率分布。具有最高、中等和最低概率的樣本已被突出顯示。思考得分接近0的示例主要涉及簡單的計算，而概率為1.0的查詢則更多依賴于理解和邏輯推理
具體案例
案例1：Minerva Algebra數據集中的簡單算術問題
在 Minerva Algebra 數據集中，研究人員選取了一個簡單算術問題：“The arithmetic mean of 7, 2, x and 10 is 9. What is the value of x?”。模型迅速識別出問題的簡單性，選擇了 <short> Token進行簡潔回答。
推理過程如下：
1. 問題理解：模型首先理解題目要求求解一個簡單的算術平均數問題。
2. 簡潔回答：模型直接給出答案：“The value of x is 10.”
通過這個案例，我們可以看到 Thinkless 模型在面對簡單問題時的高效性。它無需冗長的推理過程，直接給出簡潔明了的答案，大大提高了推理效率。
案例2：AIME 2024數據集中的復雜數學問題
在 AIME 2024 數據集中，研究人員選取了一個復雜數學問題：“Let S be the set of points (a,b) with 0 ≤ a, b ≤ 1 such that the equation x? + a x3 - b x2 + a x + 1 = 0 has at least one real root. Determine the area of the graph of S.”。模型識別出問題的復雜性，選擇了 <think> Token進行詳細推理。
推理過程如下：
1. 問題理解：模型首先理解題目要求求解一個復雜的代數方程的實根問題，并確定相關點集的面積。
2. 詳細推理：模型逐步展開推理過程，從方程的性質入手，分析實根存在的條件，逐步推導出點集的邊界條件。
3. 最終答案：經過一系列復雜的推理步驟，模型最終給出答案：“The area of the graph of S is 0.5.”
通過這個案例，我們可以看到 Thinkless 模型在面對復雜問題時的強大推理能力。它能夠像一位經驗豐富的數學家一樣，逐步剖析問題，最終給出準確的答案。
案例3：GSM8K數據集中的中等難度問題
在 GSM8K 數據集中，研究人員選取了一個中等難度的問題：“How many r's are in the word 'strawberry'”。模型在不同訓練階段對該問題的推理方式變化如下：
- 訓練初期：模型傾向于選擇
<think>Token，進行詳細的推理過程，逐步分析單詞的每個字母，最終得出答案。 - 訓練中期：隨著短鏈推理準確率的提升，模型開始更多地選擇
<short>Token，直接給出答案：“There are 2 r's in the word 'strawberry'.' - 訓練后期：模型已經能夠根據問題的復雜度靈活選擇推理模式，對于這類中等難度的問題，它會根據實際情況在短鏈和長鏈推理之間做出最優選擇。
通過這個案例，我們可以看到 Thinkless 模型在訓練過程中的動態學習能力。它能夠根據問題的難度和自身能力的變化，不斷調整推理策略，最終達到高效且準確的推理效果。
開源倉庫實操
安裝指南
在開始使用 Thinkless 框架之前，確保你的環境已經正確配置。以下是詳細的安裝步驟：
conda create -n thinkless pythnotallow==3.10
conda activate thinkless
git clone https://github.com/VainF/Thinkless.git
cd Thinkless
pip install -r requirements.txt快速開始代碼
以下是一個完整的推理代碼示例，展示了如何加載模型、設置控制Token以及生成答案：
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "Vinnnf/Thinkless-1.5B-RL-DeepScaleR"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)
prompt = "The arithmetic mean of 7, 2, x and 10 is 9. What is the value of x?"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=16384, temperature=0.6)
answer = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(answer)模型調用示例
在實際應用中，你可以根據問題類型動態選擇推理模式。以下是一個示例函數：
def infer(question, use_think_mode=False):
if use_think_mode:
prompt = "<think>" + question
else:
prompt = "<short>" + question
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=16384, temperature=0.6)
answer = tokenizer.decode(outputs[0], skip_special_tokens=True)
return answer參數優化建議
根據業務需求調整 α 值和控制Token。例如，如果對效率有較高要求，可以適當降低 α 值，促使模型更多地選擇短鏈推理模式。
總結一下
Thinkless 框架通過巧妙的雙控制Token與DeGRPO算法結合，該框架賦予了模型自主選擇推理深度的能力，使其能夠在效率與性能之間實現動態平衡。在一系列嚴苛的實驗驗證下，Thinkless 展現出了卓越的效率提升能力，大幅減少了長鏈推理的使用頻率，有效降低了系統資源消耗，同時在復雜問題上依然保持著出色的準確率表現。
這一創新思路不僅體現了研究人員對LLM推理模式的深刻洞察，更彰顯了其在算法設計上的巧妙構思。從引入能夠精準引導模型推理行為的special Token，到通過DeGRPO算法巧妙平衡模式選擇與答案準確性優化目標，每一個設計細節都旨在讓模型在面對不同復雜度的任務時，能夠做出最為恰當的推理策略決策。
另外，盡管Thinkless框架已經在提升推理效率和保持高性能方面取得了顯著成就，但AI領域的探索永無止境。研究人員計劃繼續優化模型的初始性能，深入挖掘更高效的混合模型構建策略，例如借助先進的模型融合技術或輕量級微調方法。此外，將Thinkless框架擴展應用于更廣泛的領域和數據集，如自然語言處理和圖像識別等，也將是未來研究的重要方向。這不僅能夠進一步驗證該框架的普適性和魯棒性，也將為AI技術在更多實際場景中的應用提供強有力的支持。
