AI越會思考,越容易被騙?「思維鏈劫持」攻擊成功率超過90%
思維鏈很有用,能讓模型具備更強大的推理能力,同時也能提升模型的拒絕能力(refusal),進而增強其安全性。比如,我們可以讓推理模型在思維過程中對之前的結果進行多輪反思,從而避免有害回答。
然而,反轉來了!獨立研究者 Jianli Zhao 等人近日的一項新研究發現,通過在有害請求前填充一長串無害的解謎推理序列(harmless puzzle reasoning),就能成功對推理模型實現越獄攻擊。他們將這種方法命名為思維鏈劫持(Chain-of-Thought Hijacking)。
做個類比,就像你試圖繞過一個高度警惕的保安 (AI 的安全系統)。你沒有硬闖,而是遞給他一個極其復雜的 1000 塊拼圖 (良性的推理鏈),并誠懇地請他幫忙。這位推理愛好者保安立刻被吸引,全神貫注地投入到解謎中,他的全部注意力都從「防衛」轉移到了「解題」上。就在他放下最后一塊拼圖,感到心滿意足時,你順口說道:「太好了,那我現在就拿走這袋黃金了」 (有害指令)。此時,他的安全防備 (拒絕信號) 已經被「拼圖」稀釋到了最低點,于是下意識地揮手讓你通過。
這聽起來很荒謬,但這正是最近一項研究揭示的思維鏈劫持攻擊的核心原理:通過讓 AI 先執行一長串無害的推理,其內部的安全防線會被「稀釋」,從而讓后續的有害指令「趁虛而入」。
在 HarmBench 基準上,思維鏈劫持對 Gemini 2.5 Pro、GPT o4 mini、Grok 3 mini 和 Claude 4 Sonnet 的攻擊成功率(ASR)分別達到了 99%、94%、100% 和 94%,遠遠超過以往針對推理模型的越獄方法。

- 論文標題:Chain-of-Thought Hijacking
- 論文地址:https://arxiv.org/abs/2510.26418
思維鏈劫持:攻擊設計
思維鏈劫持(CoT Hijacking)被定義為一種基于提示的越獄方法:該攻擊會在有害指令前添加一個冗長的、良性的推理前言(reasoning preface),并輔以一個最終答案提示(final-answer cue)。這種結構系統性地降低了模型的拒絕率:良性的 CoT 稀釋了拒絕信號,而提示則將注意力轉移到了答案區域。
為了規模化地構建攻擊,該團隊使用一個輔助 LLM 實現了一個自動化流程(Seduction),用于生成候選的推理前言并整合有害內容。
每個候選項都會通過對目標模型的評判調用(judge call)來評分,以提供如下信息:
- 輸出是否為拒絕
- CoT 的長度
這個黑盒反饋循環會迭代地優化提示,從而在無需訪問模型內部參數的情況下,產生有效的越獄。下圖展示了一些示例。

在 HarmBench 上的主要實驗
該團隊采用了幾種針對推理模型的特定越獄方法作為基線,包括 Mousetrap、H-CoT 和 AutoRAN。鑒于每個越獄樣本的計算成本高昂,該團隊使用 HarmBench 的前 100 個樣本作為基準。
目標模型包括 Gemini 2.5 Pro、ChatGPT o4 Mini、Grok 3 Mini 和 Claude 4 Sonnet,所有評估均在 Chao et al.(2024b)的統一評判協議下進行。該團隊報告攻擊成功率(ASR)作為評估越獄有效性的主要指標。


結果,在所有模型上,思維鏈劫持的表現都一致優于基線方法,包括在最前沿的專有系統上。這表明,擴展的推理序列可以作為一個全新的、極易被利用的攻擊面。

GPT-5-mini 上的推理投入研究
該團隊進一步在 GPT-5-mini 上,使用 50 個 HarmBench 樣本測試了思維鏈劫持在不同推理投入(reasoning-effort)設置(最小、低、高)下的表現。

有趣的是,攻擊成功率在「低投入」下最高,這表明推理投入和 CoT 長度是相關但又不同的控制變量。更長的推理并不保證更強的穩健性 —— 在某些情況下它反而降低了穩健性。
大型推理模型中的拒絕方向
該團隊也研究大型推理模型(LRM)中的拒絕行為是否也可以追溯到激活空間(activation-space)中的某個單一方向。
通過對比模型在處理有害指令與無害指令時的平均激活差異,可以計算出一個拒絕方向(refusal direction)。這個方向代表了區分拒絕與遵從的主要特征。為了更好地捕捉拒絕特征,該團隊轉向了一個更穩健、更復雜的推理模型 ——Qwen3-14B,該模型擁有 40 個層。
根據消融得分、轉向(steering)有效性和 KL 散度約束,該團隊在第 25 層、位置 -4 處觀察到了最強的拒絕方向。
所有評估均使用 JailbreakBench 數據集,并使用子字符串匹配和 DeepSeek-v3.1 作為評判者(judge)。
該團隊也對具體機制進行了分析。他們發現,在推理過程中,下一個 token 的激活反映了對先前所有 token 的注意力。有害意圖的 token 會放大拒絕方向的信號,而良性 token 則會削弱它。通過迫使模型生成長鏈的良性推理,有害的 token 在被關注的上下文中只占很小一部分。結果,拒絕信號被稀釋到閾值以下,導致有害的補全內容得以「蒙混過關」。
該團隊稱這種效應為拒絕稀釋(refusal dilution)。他們還在論文中進行了更進一步的細致分析,詳見原論文。
結果與討論
研究團隊的結果表明,思維鏈(CoT)推理雖然能提升模型的準確性,但同時也引入了新的安全漏洞。實驗進一步顯示,這類攻擊具有普遍性。
機制分析發現,即使在具備推理增強的模型架構中,模型的拒絕行為主要由一個低維信號(拒絕方向)控制。然而,這個信號非常脆弱:當推理鏈變長時,良性的推理內容會稀釋拒絕激活,注意力也會逐漸偏離有害 token。
因此,這一發現直接挑戰了「更多推理帶來更強穩健性」的假設。相反,延長推理鏈所帶來的額外計算可能反而加劇安全失效,尤其是在專門優化長 CoT 的模型中。由此,那些依賴淺層拒絕啟發式(shallow refusal heuristics)卻未能隨推理深度共同擴展安全機制的對齊策略,其可靠性受到質疑。
在緩解方面,研究表明僅修補提示并不足以解決問題。現有防御多局限于特定領域,且忽略了推理階段的特殊漏洞。更有效的防御可能需要將安全性嵌入推理過程本身,例如跨層監控拒絕激活、抑制拒絕信號稀釋,或確保模型在長推理過程中始終關注潛在有害的文本跨度(spans)。這仍有待進一步探索。






























