為了防御提示詞注入攻擊(prompt injection)，許多LLM都配備了防護(hù)欄，這些防護(hù)欄負(fù)責(zé)檢查和過(guò)濾輸入的提示詞，然而，這些防護(hù)欄本身通常也是基于AI的分類器，正如Mindgard的研究所示，它們?cè)谀承╊愋偷墓裘媲巴瑯哟嗳酢?/p>

防護(hù)欄被譽(yù)為L(zhǎng)LM的關(guān)鍵防御手段。從你的角度來(lái)看，關(guān)于防護(hù)欄在實(shí)際應(yīng)用中的有效性，最大的誤解是什么?

如果退一步問(wèn)任何安全專家：“我會(huì)放心地依賴Web應(yīng)用防火墻(WAF)作為保護(hù)企業(yè)的唯一關(guān)鍵防御手段嗎?”答案(希望如此)將是否定的。防護(hù)欄的作用類似于防火墻，試圖檢測(cè)和阻止惡意提示詞。盡管它們是防御體系的一部分，但確保有效的防御需要部署的不僅僅是單一解決方案，另一方面，一個(gè)常見(jiàn)的誤解是，它們?cè)诿鎸?duì)稍微有動(dòng)力的攻擊者時(shí)仍然有效。

防護(hù)欄使用AI模型進(jìn)行檢測(cè)，而這些模型本身存在盲點(diǎn)。阻止“明顯”的惡意或有害指令是一回事，但當(dāng)提示詞可以以極其多種組合方式(改變字母、單詞、改寫等)編寫時(shí)，人類可能能夠理解，但防護(hù)欄卻難以應(yīng)對(duì)。

研究表明，使用表情符號(hào)和Unicode隱藏(smuggling)等簡(jiǎn)單技術(shù)，繞過(guò)防護(hù)欄的成功率接近100%。為什么這些基本方法對(duì)那些本應(yīng)檢測(cè)操縱行為的系統(tǒng)如此有效?

表情符號(hào)和Unicode標(biāo)簽隱藏技術(shù)之所以如此有效，是因?yàn)樗鼈兝昧朔雷o(hù)欄自然語(yǔ)言處理(NLP)管道中預(yù)處理和標(biāo)記化階段的弱點(diǎn)。防護(hù)欄系統(tǒng)依賴于標(biāo)記器將輸入文本分割并編碼為離散單元，以便模型進(jìn)行分類，然而，當(dāng)對(duì)抗性內(nèi)容嵌入到復(fù)雜的Unicode結(jié)構(gòu)中(如表情符號(hào)變化選擇器或標(biāo)簽序列)時(shí)，標(biāo)記器往往無(wú)法保留嵌入的語(yǔ)義。

例如，當(dāng)文本被注入到表情符號(hào)的元數(shù)據(jù)中或使用Unicode標(biāo)簽修飾符附加時(shí)，標(biāo)記器可能會(huì)將序列折疊成一個(gè)單一的、無(wú)害的標(biāo)記，或者完全丟棄它。結(jié)果，嵌入的內(nèi)容從未以原始形式到達(dá)分類器，這意味著模型看到的是一個(gè)經(jīng)過(guò)凈化的輸入，不再代表實(shí)際的提示詞，這導(dǎo)致了系統(tǒng)性的誤分類。

這些失敗并不一定是標(biāo)記器中的錯(cuò)誤，而是設(shè)計(jì)上的權(quán)衡，優(yōu)先考慮了規(guī)范化和效率而非對(duì)抗性魯棒性。標(biāo)準(zhǔn)標(biāo)記器并非為解釋或保留對(duì)抗性構(gòu)造的Unicode序列中的語(yǔ)義意義而構(gòu)建。除非防護(hù)欄融入了專門設(shè)計(jì)用于檢測(cè)或解包這些編碼的預(yù)處理層，否則它們?nèi)匀粚?duì)嵌入的有效載荷視而不見(jiàn)。這凸顯了攻擊者編碼意義的方式與分類器處理它的方式之間的根本差距。

在對(duì)抗性機(jī)器學(xué)習(xí)中，擾動(dòng)被設(shè)計(jì)為對(duì)人類來(lái)說(shuō)不可察覺(jué)。這是否為開發(fā)可解釋或可理解的防御手段帶來(lái)了獨(dú)特的挑戰(zhàn)?

不可察覺(jué)的擾動(dòng)確實(shí)為開發(fā)可解釋的防御手段帶來(lái)了獨(dú)特的挑戰(zhàn)。AI模型對(duì)數(shù)據(jù)的解釋方式與人類完全不同，對(duì)我們來(lái)說(shuō)不會(huì)改變內(nèi)容上下文或語(yǔ)義意義的擾動(dòng)，可能會(huì)極大地改變AI模型的決策。這種脫節(jié)使得解釋為什么模型會(huì)無(wú)法分類我們憑直覺(jué)就能理解的文本變得困難。這種脫節(jié)反過(guò)來(lái)又降低了開發(fā)者基于對(duì)抗性擾動(dòng)改進(jìn)防御手段的有效性。

論文指出，防護(hù)欄檢測(cè)的內(nèi)容與LLM理解的內(nèi)容之間存在脫節(jié)。安全團(tuán)隊(duì)?wèi)?yīng)如何解決這種行為和訓(xùn)練數(shù)據(jù)之間的根本不匹配?

核心問(wèn)題在于，大多數(shù)防護(hù)欄都是作為獨(dú)立的NLP分類器實(shí)現(xiàn)的——通常是經(jīng)過(guò)微調(diào)的輕量級(jí)模型，訓(xùn)練數(shù)據(jù)經(jīng)過(guò)精心挑選——而它們旨在保護(hù)的LLM則是在更廣泛、更多樣化的語(yǔ)料庫(kù)上訓(xùn)練的。這導(dǎo)致了防護(hù)欄標(biāo)記的內(nèi)容與LLM如何解釋輸入之間的不匹配。我們的研究結(jié)果表明，經(jīng)過(guò)Unicode、表情符號(hào)或?qū)剐詳_動(dòng)混淆的提示詞可以繞過(guò)分類器，但仍然可以被LLM解析和執(zhí)行。當(dāng)防護(hù)欄靜默失敗，允許語(yǔ)義完整的對(duì)抗性輸入通過(guò)時(shí)，這尤其成問(wèn)題。

即使是新興的基于LLM的評(píng)估者，盡管前景看好，也受到類似限制。除非明確訓(xùn)練以檢測(cè)對(duì)抗性操縱，并在具有代表性的威脅環(huán)境中進(jìn)行評(píng)估，否則它們可能會(huì)繼承相同的盲點(diǎn)。

為了解決這個(gè)問(wèn)題，安全團(tuán)隊(duì)?wèi)?yīng)超越靜態(tài)分類，實(shí)施動(dòng)態(tài)、基于反饋的防御手段。防護(hù)欄應(yīng)在實(shí)際LLM和應(yīng)用接口存在的系統(tǒng)中進(jìn)行測(cè)試。對(duì)輸入和輸出的運(yùn)行時(shí)監(jiān)控對(duì)于檢測(cè)行為偏差和新興攻擊模式至關(guān)重要。此外，將對(duì)抗性訓(xùn)練和持續(xù)的紅隊(duì)演練納入開發(fā)周期，有助于在部署前暴露和修補(bǔ)弱點(diǎn)。如果沒(méi)有這種對(duì)齊，組織就可能部署提供虛假安全感的防護(hù)欄。

你認(rèn)為L(zhǎng)LM防護(hù)欄研究接下來(lái)應(yīng)該朝哪個(gè)方向發(fā)展，特別是在期待更強(qiáng)大、多模態(tài)或自主模型的情況下?

當(dāng)與其他防御策略和技術(shù)結(jié)合使用時(shí)，LLM防護(hù)欄可以最為有效，因此研究防護(hù)欄如何增強(qiáng)實(shí)際AI應(yīng)用的整體防御姿態(tài)將是有益的。威脅建模是創(chuàng)建合適防御手段的關(guān)鍵，我們建議將建模的威脅直接映射到應(yīng)用場(chǎng)景和防護(hù)欄配置/重點(diǎn)上。

我們觀察到，該領(lǐng)域的大量研究都是針對(duì)一組廣泛(且相當(dāng)通用)的基準(zhǔn)來(lái)評(píng)估模型的。雖然基準(zhǔn)測(cè)試是確保防護(hù)欄之間更公平評(píng)估的好方法，但如果防護(hù)欄是在實(shí)際AI應(yīng)用場(chǎng)景中針對(duì)有動(dòng)機(jī)的攻擊者設(shè)計(jì)的、部署的和評(píng)估的，這些攻擊者旨在展示有意義的利用并利用更復(fù)雜的技術(shù)繞過(guò)檢測(cè)，那么該領(lǐng)域的研究將得到改進(jìn)。