推理時擾動高熵詞，增強LLM性能
本文第一作者楊震，香港科技大學（廣州）博士生，研究方向是多模態(tài)理解與生成等。本文通訊作者陳穎聰，香港科技大學（廣州）助理教授，主要研究課題包括生成模型、具身智能等。
隨著對大語言模型的研究越來越深入，關于測試時間擴展 (test-time scaling) 的相關研究正迅速嶄露頭角。研究團隊重新審視測試時行為，發(fā)現(xiàn)了一個簡單但尚未得到充分探索的現(xiàn)象：LLM 推理時的不確定性高度局部化 —— 一小部分高熵詞會顯著影響輸出的正確性。
正是基于這一關鍵觀察，來自香港科技大學（廣州）的研究團隊提出了 Minimal Test-Time Intervention (MTI)，其主要包含了 Selective CFG intervention 與 Lightweight negative-prompt guidance 兩種方法。MTI 能夠在推理階段無需額外訓練，就提升大型語言模型的推理能力。
- 論文標題：Less is More: Improving LLM Reasoning with Minimal Test-Time Intervention
- 論文地址：https://arxiv.org/abs/2510.13940
- Github（代碼已開源）：https://github.com/EnVision-Research/MTI
- Huggingface Paper：https://huggingface.co/papers/2510.13940
Selective CFG intervention：減弱高熵詞的不確定性
LLM 在多步推理中經(jīng)常表現(xiàn)出鏈式不穩(wěn)定性：幾個步驟中的不確定性會放大并導致整個答案偏離軌道。為了找到這種不穩(wěn)定性的原因，研究團隊分析了 LLM 回答錯誤的問題，并發(fā)現(xiàn)錯誤回答的熵更高，而這主要是由回答中的高熵詞導致的。為此，研究團隊提出在高熵詞上使用 Classifier-free Guidance (CFG) 以在降低不確定性的同時穩(wěn)定推理過程，并能在保持高效率的同時提高性能。
Lightweight negative-prompt guidance：復用 KV cache 并注入負向詞，節(jié)省顯存分配的同時維護更優(yōu)的無條件空間
研究團隊觀察到，盡管 Selective CFG intervention 僅對高熵詞進行操作，但是仍需為無條件預測支路分配一個新的 KV 緩存，這大大降低了現(xiàn)代 LLM 推理加速器的效率。比如，維護雙 KV 緩存會削弱諸如 vllm 等框架的長上下文處理能力。此外，CFG 源自計算機視覺，其會在訓練過程中引入無條件標簽來學習全局數(shù)據(jù)分布。相比之下，LLM 中的 CFG 并未訓練建模全局文本分布的能力。因此，研究團隊認為無條件分支應該被視為一個負向提示通道：條件分支專注于生成正確的詞，而無條件分支則被鼓勵生成錯誤的詞。為此，研究團隊重用了條件分支的 KV 緩存，并附加了一條用于引出錯誤詞的短指令，最終實現(xiàn)了在維護更優(yōu)無條件空間的同時節(jié)省了 KV 緩存分配。此外，注入的短語非常靈活，比如研究團隊發(fā)現(xiàn) “OUTPUT ERROR” 就已經(jīng)產(chǎn)生了優(yōu)良的效果。
實驗結(jié)果
研究團隊在多個任務上進行了測試，其中包括通用任務（Winogrande，MMLU-Pro），代碼任務（Humaneval，Humaneval_plus，LiveCodeBench），數(shù)學與科學任務（GPQA-Diamond，MATH500）上進行了系統(tǒng)測試。結(jié)果顯示僅在很少的高熵詞上使用 MTI，就能在多個數(shù)據(jù)集上穩(wěn)定帶來性能提升，驗證了方法的有效性。比如在 Qwen3-14B-Reasoning 上，僅對 3.5% 的詞執(zhí)行 MTI，可以為所有任務平均提點 1.58。
從 AIME2024 的實驗中也發(fā)現(xiàn)，MTI 方法具備顯著的優(yōu)勢。比如在 Qwen3-8B-Reasoning 模型中，僅需對 1.9% 的詞執(zhí)行 CFG，就可以為準確性帶來 4.9% 的增長，證明了 MTI 在維護高效率的同時，也改進了性能。
分析實驗
研究團隊發(fā)現(xiàn)，一些低熵詞很難被 CFG 所改變，這是由于 LLM 在低熵詞上對自己的輸出非常確信，所以很難被 CFG 改變，而這些失敗的 CFG 操作便降低了效率。CFG 所能改變的預測主要集中在高熵詞部分，這是由于模型對自己的預測并不自信，因此 CFG 可以修正它。這些發(fā)現(xiàn)也從側(cè)面反映并非所有的詞都需要使用 CFG。
研究團隊發(fā)現(xiàn)對于基礎模型，詞云中的一些低信息量占位符（例如 **）被語義上更有意義的詞語所取代，從而創(chuàng)造了更豐富的推理分支，并最終提高了準確率。對于推理模型，研究團隊觀察到從單一連接詞（例如 so）向更多樣化的連接詞（例如 however、if、perhaps、alternatively、wait）的轉(zhuǎn)變。這有助于模型摒棄錯誤的先驗推理鏈，并開啟新的思路，最終得出正確的推理?？傮w而言，應用該方法可以產(chǎn)生更加多樣化和平衡的詞匯，擴展更多的假設和推理軌跡，最終獲得更好的結(jié)果。
總結(jié)
總的來看，這項工作揭示了 LLM 在推理階段的一少部分高熵詞會顯著影響輸出正確性，并提出了 Minimal Test-Time Intervention (MTI)，其中包含 Selective CFG intervention 和 Lightweight negative-prompt guidance。該方法無需訓練并即插即用，易于與現(xiàn)代加速框架和各種解碼策略或測試時擴展方法進行結(jié)合。該方法利用對推理階段高熵詞的擾動，不僅顯著提升了模型在大量任務上的表現(xiàn)，也為未來挖掘 LLM 推理階段的潛力提供了全新的思路。
