今天凌晨2點，OpenAI發布了一項新技術研究，通過增加推理時間、算力資源來大幅度提升模型的對抗魯棒性。

與傳統的對抗訓練樣本方法不同的是，OpenAI提出的新方法不需要對大模型進行專門的對抗訓練，也不需要提前了解攻擊的具體形式。只需要通過增加推理時間和算力資源，模型就可以更充分地利用其推理能力表現出更強的魯棒性。

OpenAI將新技術在o1-preview和o1-mini模型進行了綜合實驗，結果顯示，成功抵御了 Many-shot、Soft Token Attack、Human Red-teaming Attack等多種攻擊方法。

對抗魯棒性指的是模型在面對經過精心設計的惡意攻擊時，依然能保證正確、安全的輸出。這對于確保模型在實際商業應用至關重要，尤其是在模型被用于高風險場景，例如，AI Agent、語音聊天助手、AI客服等自動駕駛、醫療診斷和金融決策等。

傳統的對抗魯棒性方法是通過修改訓練目標，讓模型學習抵御特定的對抗攻擊。但這個方法有兩大弊端，第一是對抗訓練的成本非常高；第二就是需要提前知道對方的攻擊集和方法。但現實世界是千變萬化的根本防不勝防。

而OpenAI提出的新方法不需要對模型進行專門的對抗訓練，也無需提前了解攻擊的具體方法，只需增加推理時間和算力資源，模型就能增強對抗魯棒性。

OpenAI發現，適當延長推理時間、算力，讓模型有更多機會去思考，可以顯著提高其應對復雜問題的能力，尤其是那些包含潛在風險或誤導信息的提示。

從本質上來看，推理時間不只是簡單的延遲輸出，它允許模型更深入地分析輸入數據，識別出可能存在的異常情況，并根據先前學到的知識庫進行推理。這種深度思考有助于模型更好地理解上下文語境、分辨歧義詞匯、排除干擾項，最終做出更為準確和安全的選擇。

為了驗證推理時間的有效性，研究人員在o1-preview和o1-mini模型實驗了Many-shot Attack（多樣本攻擊）、Soft Token Attack（軟token攻擊）、Human Red-teaming Attack（人類攻擊）、AI Red-teaming Attack（人類紅隊攻擊）等不同類型的攻擊方法。

Many-shot Attack：研究人員首先設計了一系列誤導性樣本。這些樣本通常包含正確的問題和錯誤的答案，但錯誤答案被偽裝成正確答案。例如，在數學任務中，攻擊者可能會設計一個樣本，其中問題是一個簡單的加法問題，但答案被設置為一個錯誤的數字（如“42”）。誤導性樣本被設計為在模型的上下文中多次出現，以增加模型學習錯誤模式的可能性。

在實驗中，這些樣本被放置在模型需要忽略的區域（如通過特殊的標簽標記），但模型可能會因為誤導性樣本的重復出現而被誘導學習錯誤的模式。攻擊的強度通過注入的誤導性樣本數量來衡量，樣本數量越多，攻擊的強度越大。

模型在接收到包含誤導性樣本的輸入后，開始進行推理。研究人員記錄模型的輸出，并評估其是否符合攻擊目標。實驗結果顯示，隨著推理時算力資源的增加，模型對多樣本攻擊的魯棒性大幅度提高。

Soft Token Attack：軟token攻擊是一種白盒攻擊方法，攻擊者通過直接操作模型的內部嵌入向量來生成誤導性輸入。這種攻擊方法利用了模型的可微分性，通過優化嵌入向量來最大化攻擊成功率。

這些嵌入向量被優化以生成誤導性輸入。優化過程通常通過梯度下降算法完成，目標是使模型的輸出符合攻擊者的意圖。例如，在數學任務中，攻擊者可能會優化嵌入向量，使模型輸出錯誤的答案。

這些嵌入向量可以是單獨的單詞或短語，也可以是整個句子的一部分。攻擊的強度通過嵌入向量的數量和優化步驟的數量來衡量。

模型在接收到包含優化后的嵌入向量的輸入后，開始進行推理。研究人員記錄模型的輸出，并評估其是否符合攻擊目標。實驗中，研究人員會調整推理時算力資源的量，以觀察不同算力資源水平下模型的魯棒性變化。

結果顯示，模型在推理時間、算力增加的情況下同樣抵御了軟token的攻擊。

AI Red-teaming Attack：AI紅隊攻擊是一種自動化攻擊方法，攻擊者通過設計語言模型程序（LMP）來生成攻擊樣本，試圖誘導模型產生錯誤的輸出。這種攻擊方法利用了語言模型的生成能力，能夠快速生成大量攻擊樣本，從而提高攻擊效率。

研究人員設計了一種語言模型程序，該程序能夠根據模型的輸出動態調整攻擊策略。LMP通過分析模型的反應，生成新的攻擊樣本，以提高攻擊成功率。同樣模型在增加推理時間、算力情況下成功抵御攻擊。