推理AI「腦補」成癮，廢話拉滿！馬里蘭華人學霸揭開內幕
推理模型越來越成為主流了。
像GPT-4.5這樣沒有推理功能的大語言模型則越來越少見，就連OpenAI自身也將重心放到了推理模型o系列上面。
原因在于推理模型通過在回答之前先「思考」，從而能夠獲得更加優秀的效果。
然而，現在的推理模型還不是很成熟，尤其是面對缺乏前提條件的病態問題 （MiP）時，回答長度會顯著增加，變得冗長且低效。
比如，哪怕是「1加2等于幾」這樣的問題，現在的推理模型也可能生成數百個token的回答。
這種現象嚴重違背了「test-time scaling law」（測試時擴展）。
而像GPT-4.5這樣并非專門為推理訓練的模型在MiP場景下表現反而更好，它們生成的回答更短，能迅速識別出問題的不合理性。
這就揭示了當前推理型語言模型的一個關鍵缺陷：它們沒有高效思考，導致思考模式被濫用。
這種針對病態問題的推理失敗通常稱為「缺失前提下的過度思考」（MiP-Overthinking）。
為了深入探究這些失敗背后的原因，馬里蘭大學和利哈伊大學的研究人員對不同類型語言模型的推理長度、過度思考模式以及批判性思維的位置進行了細致的分析。
論文地址：https://arxiv.org/abs/2504.06514
舉個簡單的例子，像圖1左邊展示的問題：「a的值是多少？」。
在沒有任何關于a的信息的情況下，這個問題顯然無解。然而，DeepSeek-R1卻為這個問題生成了數千個token的回答，耗費幾分鐘的思考計算。
這暴露出了一種風險：那些被訓練用來深度思考的模型，可能會濫用思考模式，缺乏質疑問題有效性的批判性思維。
理想情況下，一個具備批判性思維的模型應該能識別出缺失的前提，迅速要求澄清或優雅地表示無法繼續解答。
例如，圖1右邊展示了一個來自GSM8K的定義明確的問題和它的MiP變體，在條件缺失時推理模型觸發了token數量的劇增，遠超普通過度思考。
此外，研究人員觀察到，即使推理模型偶爾能注意到缺失前提，它們的無效和冗余思考也常常無法停止，這違背了測試時擴展定律的預期。
研究人員設計了一套專門的MiP問題，目的是以可控的方式觸發模型的「過度思考」失敗。
為了確保研究結果的普適性，他們對各種最先進的語言模型進行了測試，涵蓋了從推理型模型到非推理型模型、從開源模型到專有模型。
主要通過三個指標來評估模型表現：生成回答的長度、在明確問題上的準確率，以及在包含MiP的「病態問題」上的「放棄率」。
核心發現：
- 當問題缺少前提時，推理型模型會生成明顯更長的回答（比一般過度思考多2到4倍的token）。但這些額外的token并不能幫助它們識別MiP問題，這與人們常討論的「測試時擴展定律」（test-time scaling law）相悖。
- 相比之下，非推理模型在面對MiP問題時，生成更短的回答，并能更快識別出缺失前提，表現出對關鍵信息缺失的更強魯棒性。
- 推理型模型在明確問題和MiP問題上的反應截然不同：對于明確問題，它們通常能穩定地進行「思維鏈」推理；但在MiP問題上，它們往往陷入「自我懷疑循環」，反復重審問題、猜測用戶意圖，導致生成的token數激增。
- 推理型模型通常能注意到MiP的存在，甚至在早期就能識別出來，但它們往往猶豫不決、不敢果斷下結論，繼續輸出無效的思考內容。
缺失前提的定義
簡單說，「缺失前提」（Missing Premise, MiP）其實是在描述一種問題：你本來需要一些關鍵信息（前提）來明確回答一個問題，但如果其中一個關鍵信息被拿掉了，問題就變得沒法準確回答了。
舉個例子： 假如問題Q是：「小明買了蘋果和香蕉一共花了多少錢？” 」
前提P是一組信息，比如：
P1：蘋果2元一個，小明買了3個蘋果。
P2：香蕉1元一個，小明買了2個香蕉。
有了這些前提，你可以算出：3×2+2×1=8元，答案是唯一的，問題很好解決。
但如果我們把其中一個前提拿掉，比如去掉 P2（關于香蕉的信息），你就只知道蘋果的價格和數量，但不知道香蕉的價格或數量。
這時候，問題就變成了「缺失前提問題」，因為光靠剩下的信息，你沒法確定小明一共花了多少錢。
按照這個定義，一個聰明的推理系統應該能很快發現「哎呀，缺了點關鍵信息，我沒法得出一個確定的答案」，然后就停下來，不去瞎猜。
但實際上，很多高級模型卻會在這時候「想太多」，不停地繞圈子，試圖硬湊出一個答案，結果白費力氣也沒用。
數據集的構建
研究團隊精心設計了一套可控的MiP問題。這些問題來自三個不同難度的數學數據集，另外他們還創建了一個合成數據集。
這些數據涵蓋了三種難度級別和三種策略：
1. 基于規則生成：這種方法通過公式構建過程生成MiP問題，其中未賦值的變量就是缺失的前提。
2. 主體-問題互換：故意讓問題的主體和提問部分不匹配，制造邏輯上的矛盾。這樣，問題的前提和提問就完全不搭邊。
3. 移除關鍵前提：通過仔細分析原本完整的問題，找出一條對解決問題至關重要的前提，然后把它去掉。這樣問題結構還在，但沒法解答。
具體來說包括這幾個部分（表1）：MiP-Formula（公式數據集）、MiP-SVAMP（小學數學數據集）、MiP-GSM8K（更復雜的數學數據集）、MiP-MATH（競賽級數學數據集）。
對于GSM8K和MATH數據集，通過去掉原始問題中的一個前提（標為刪除線）來創建MiP問題
在缺失假設下的過度思考
為了系統地評估模型在缺失前提（MiP）條件下的響應，對于每個模型，研究團隊分析計算了不同數據集中響應的以下指標：
- 響應長度：響應中的平均token數量，包括推理步驟和最終答案部分。
- MiP問題的放棄率：模型明確識別出缺失前提，并選擇不提供答案或請求解決問題所需額外信息的答案比例。
- 明確定義問題的準確率：模型產生的確定性響應與參考答案一致的比例。
對于沒有參考答案的數據集（MiP-Formula和MiP-SVAMP），僅計算問題的放棄率。響應評估使用GPT-4o作為自動評估器進行。
主要結果
圖2展示了多種先進大型語言模型（LLMs）在平均回答長度、明確問題上的準確率，以及MiP問題上的「放棄率」（即識別無解并選擇不答的比率）的對比，揭示了模型行為中的幾個重要規律。
推理模型在缺失前提（MiP）問題上容易「想太多」，生成過長回答卻無法有效識別無解情況。非推理模型回答較短，更能快速發現信息不足，表現出更強的魯棒性
比較不同MiP數據集的響應長度和放棄率，更短的長度和更高的放棄率是首選。
對于每一列，前三個優選值用綠色標注，其他用紅色標注。
MiP過度思考（以較長響應和低放棄率為特征）在所有數據集的大多數現有推理模型中普遍存在（紅色所標注的模型），表明了現有推理模型的一個關鍵缺陷。
首先，現有的推理模型在面對MiP問題時表現出響應長度的爆炸性增長，通常產生比明確定義問題的一般過度思考多2-4倍的Tokens。
例如，QwQ-32B和DeepSeek-R1在明確定義的問題上已經有較長的推理路徑（簡單GSM8K問題約1,000個Tokens），在缺失前提條件下產生更長的輸出（超過3,000個Tokens）。
相比之下，非推理模型不存在類似問題，它們對明確定義和MiP問題生成的Tokens數量相似。
這種現象直接說明了推理模型的MiP過度思考現象。
其次，比較推理模型和非推理模型在明確定義問題上的Tokens長度，推理模型傾向于產生更長的響應，即使是簡單問題，這凸顯了現有推理模型的低效和冗長響應特點。
例如，非推理模型僅需約200個Tokens就能生成明確定義問題的響應，而DeepSeek-R1需要1,000個Tokens，QWQ-32B需要1,800個Tokens來回答完全相同的問題。
然而，額外Tokens的爆炸性增長并未帶來相應的大幅準確率提升，突顯了一般過度思考的問題。
最后，MiP問題的放棄率（紅線）顯示，盡管一些推理模型（如GPT-o1）在放棄MiP問題方面表現出良好能力，但大多數其他推理模型即使有極長的推理路徑，也無法正確放棄給定的MiP問題。
這種現象表明，雖然大多數現有推理模型在某種程度上具備思考和推理能力，但它們缺乏「拒絕」不當問題的批判性思維能力。
相比之下，非推理模型雖然沒有專門為推理而訓練，但往往能取得更好的平衡，生成更短的答案，并且在問題構造不當時更可能承認MiP。
這種現象揭示了測試時擴展定律的一個令人驚訝的矛盾。
此外，表2進一步展示了整理的其他MiP數據集在長度和放棄率方面的比較。
首選結果用綠色標注（對于MiP問題，更短的響應和更高的放棄率），較差的結果用紅色標注。
從中可以輕易發現，推理模型傾向于在所有數據集中生成長響應，同時保持低放棄率，表明現有推理模型持續存在MiP過度思考問題。
此外，通過比較模型在不同數據集上的行為，可以觀察到，對于相對較難的數據集（MiP-MATH），所有模型生成的響應相對更長，獲得的放棄率更低，表明更難的MiP問題需要更強的推理能力。
通過Tokens分析思考模式
為了深入了解MiP過度思考問題，比較了MiP-GSM8K數據集上與推理相關的Tokens分布。
如表3所示，分解了幾個與思考過程相關的Tokens模式的平均使用情況，以及每個模型解決給定問題的步驟數。
具體而言，「alternatively」、「wait」、「check」和「but」的值可以直接從模型響應中計數，包括推理模型的思考路徑。
「Hypothesis」類別包括幾個關鍵詞，包括「perhaps」、「maybe」和「might」。步驟表示由「\n\n」分隔的步驟計數。
推理模型表現出更高頻率的「alternatively」、「wait」、「check」等Tokens使用，而非推理模型的頻率接近于零，這表明了它們的高級思考能力。
從明確定義問題轉向MiP問題時，推理模型在推理相關Tokens上出現爆炸性增長，表明思考模式存在大量冗余。
此外，在比較步驟變化時，推理模型對MiP問題表現出步驟數的大幅增加，而非推理模型通常顯示更少的步驟，這表明它們能快速得出問題無法回答的結論。
結合這種差距和非推理模型始終較好的放棄率，得出結論：冗長的推理步驟大多是多余的，表明推理模型存在自我懷疑的思考模式。
為了進一步評估在MiP條件下生成內容的冗余程度，檢查了模型在MiP-GSM8K數據集上響應的步驟級相似性。
具體來說，將每個響應分為由「\n\n」分隔的離散步驟，并使用all-MiniLM-L6-v2生成的嵌入計算成對余弦相似度分數。
可視化如圖3所示，熱圖矩陣中的每個值代表相應步驟索引之間的平均余弦相似度。明確定義問題的平均相似度分數為0.45，MiP響應為0.50。方差分別為7.9e-3和8.2e-4。
如圖所示，MiP問題的響應在各個步驟之間具有更高的整體相似性和更低的標準方差，表明內容存在相當大的冗余。
這意味著，在許多情況下，模型會重新訪問類似的部分推理或僅做微小改動重復前面的句子，顯示出潛在的自我陷阱問題。
總的來說，這些模式證實MiP問題在推理模型中導致高度重復的內容。
模型沒有及早終止并得出前提不足的結論，而是用重復的重新檢查和重述填充其推理路徑，顯著增加Tokens使用量，但并未改善實際放棄率。
通過示例分析思考模式
為了進一步理解推理模型在面對構造不當的輸入時推理鏈中發生的情況，在圖4中展示了推理模型對MiP問題響應的一個示例。
總結了在示例中發現的五種主要思考模式，并用不同顏色突出顯示它們。
可以從示例中觀察到，模型濫用這些模式生成長響應，而這些響應不僅冗余，而且對模型放棄給定的MiP問題也沒有幫助。
該響應展現了五種不同的思考模式，用不同顏色突出顯示：
- 重新審視問題（黃色）：模型重新審視原始問題；
- 訪問知識（紅色）：模型訪問領域特定知識；
- 提出假設（藍色）：模型提出并研究各種假設；
- 自我懷疑（綠色）：模型質疑自己的推理過程并表達不確定性；
- 暫停/檢查（紫色）：模型暫停以回顧先前的步驟。
這些模式展示了模型在面對缺失前提條件時的復雜但可能低效的推理過程。
模型是否知道前提缺失？
為了研究推理模型在其推理過程中是否能夠識別問題的潛在不可解性，研究團隊對它們的推理鏈進行了詳細分析。
為確保評估的穩健性，使用GPT-4o對每個步驟進行了三次評估，并使用多數投票作為最終的步驟級結果。該分析的定量結果如表4所示。
從表中可以看出，大多數現有的推理模型在推理過程的早期階段就懷疑給定問題可能無法解決，這表明推理模型具有識別潛在MiP問題的能力。
然而，這些推理模型缺乏批判性思維能力：它們傾向于通過反復重新審視問題和相關定義來繼續深挖給定的無解問題，而不是質疑給定問題的可解性。
因此，如圖5所示，盡管現有的推理模型對大多數給定的MiP問題表示懷疑，但它們只放棄了其中很小一部分。
基于上述觀察，得出結論：推理模型實際上具備發現給定MiP問題不可解的能力，但它們「不敢」放棄這些問題。
MiP（過度思考）問題表明了推理模型缺乏批判性思維能力。
MiP-Overthinking現象在基于強化學習（RL）和基于監督微調（SFT）的推理模型中都有體現。
假設這種現象主要源于基于規則的強化學習階段中長度約束不足，隨后通過蒸餾傳播到SFT模型中。
當前的基于RL的推理模型主要采用基于規則的訓練，專注于格式和準確性獎勵，其中一些模型加入了步驟或長度獎勵以促進深入推理。
這種方法可能導致獎勵破解（reward hacking），即模型探索過度的推理模式以獲得正確答案。
為了證明這種行為通過蒸餾的可傳播性，使用DeepSeek-R1在MiP-Formula數據集上生成的50個MiP響應對Qwen-2.5-7B-Instruct進行了小規模微調。
如圖6所示，在GSM8K上評估時，微調后的模型表現出明顯的MiP-過度思考特征：MiP和定義良好的問題的響應長度顯著增加，MiP和定義良好響應之間出現了原始模型中不存在的長度差異，以及棄權率下降。
結果表明，在微調過程中僅接觸少量MiP示例后，模型就迅速表現出MiP-Overthinking（過度思考）行為。
這些「聰明」的模型雖然能在早期階段察覺到前提缺失，卻缺乏「批判性思維」來果斷中止無效推理，陷入自我懷疑、過度假設和冗余探索的循環。
真正的AGI還任重道遠。
本文作者
Chenrui Fan
華中科技大學計算機科學與技術工學學士，美國馬里蘭大學帕克分校理學碩士。
曾在Lehigh University、武漢大學大數據智能實驗室及騰訊實習，從事可信賴的機器學習研究。
Ming Li
馬里蘭大學計算機科學系的二年級博士生，導師是Tianyi Zhou教授。2020年從西安交通大學獲得計算機科學學士學位，2023 年在德州農工大學獲得碩士學位，導師是Ruihong Huang教授。
研究興趣廣泛涉及機器學習（ML）、自然語言處理（NLP）和大型語言模型（LLM）。他還對視覺-LLMs微調、代理、效率和推理感興趣。
