在采訪中，AutoRABIT的CTO Jason Lord探討了將智能體集成到現實世界中的系統(tǒng)所帶來的網絡安全風險。諸如幻覺、提示注入和嵌入式偏見等問題可能會使這些系統(tǒng)成為易受攻擊的目標。

Lord呼吁進行監(jiān)督、持續(xù)監(jiān)控和人為介入循環(huán)控制以應對這些威脅。

許多智能體都是建立在基礎模型或大型語言模型(LLM)之上的。當這些智能體嵌入到現實世界的系統(tǒng)中時，基礎模型和LLM固有的不可預測性(如幻覺或提示注入)是如何轉化為風險的?

基礎模型和LLM從海量數據中學習，這意味著任何潛在的偏見、低質量輸入或事實錯誤都會嵌入到它們的行為中。隨著時間的推移，這些不準確之處可能會累積——尤其是當模型遇到更多樣化的上下文時。

雖然LLM的固有不可預測性對于創(chuàng)意或對話目的可能是有用的，但在生產環(huán)境中它可能會暴露出重大風險。幻覺(捏造或錯誤陳述)和提示注入(對輸入的惡意操縱)可能會引入隱藏的漏洞。

在最壞的情況下，這些問題會成為攻擊載體，提供對關鍵系統(tǒng)或敏感數據的意外訪問。即使智能體的響應中存在輕微的不一致，也可能損害數據完整性或打開后門。這會產生從未經授權的披露到系統(tǒng)損壞等實際風險——所有這些都可能嚴重影響組織的安全態(tài)勢。

如果智能體能夠訪問企業(yè)系統(tǒng)、工具或數據，它們會引入哪些新的攻擊面或供應鏈風險?我們是否基本上是在創(chuàng)建新的特權身份?

是的，智能體實際上成為了一種新的特權身份類別，可能擁有訪問敏感信息和關鍵業(yè)務流程的權限。因為它們可以處理命令、檢索或修改數據，并與其他企業(yè)系統(tǒng)進行交互，所以智能體的憑據或邏輯一旦遭到單次破壞，其破壞性可能與整個特權用戶帳戶遭到攻擊一樣嚴重。

智能體特別具有挑戰(zhàn)性的一點是，與常規(guī)腳本或應用程序相比，它們的行為更不可預測且更難審計。它們依賴于可能被操縱的自然語言輸入——通過提示注入、對抗性示例或配置錯誤的訪問控制——來執(zhí)行不需要的或惡意的操作。

組織還應考慮AI驅動的供應鏈風險。當智能體生成代碼或產生被持續(xù)集成/持續(xù)部署(CI/CD)管道使用的工件時，它們可能會無意中嵌入漏洞或將有缺陷的邏輯傳播到下游系統(tǒng)中。這些隱藏風險可能會一直存在，直到通過徹底審計或利用嘗試被發(fā)現，這強調了嚴格治理、訪問控制和持續(xù)監(jiān)控AI生成輸出的必要性。

你是否預見智能體會成為與通過釣魚或社會工程學攻擊人類相同的目標?所謂的“智能體感知”對手會是什么樣子?

絕對的。智能體將簡單地被添加到目標列表中，但攻擊者不會使用操縱人類的戰(zhàn)術(如釣魚郵件)，而是可能會通過制作旨在操縱智能體行為的惡意輸入來進行提示注入。這些攻擊利用了智能體對看似良性的指令或數據的信任，導致其泄露信息、提升權限或采取有害行為。

“智能體感知”對手將研究特定智能體如何解釋語言、做出決策以及與工具進行交互。他們可能會在共享文檔、聊天消息或API響應中嵌入隱藏命令。這些攻擊看起來不會像傳統(tǒng)的漏洞利用——它們會看起來像正常的對話或常規(guī)數據流。

隨著智能體在企業(yè)系統(tǒng)中承擔更多責任——處理工單、更新記錄或管理基礎架構——攻擊者將更加關注直接操縱智能體。這使得AI特定的安全控制(如輸入驗證、行為監(jiān)控和強大的審計跟蹤)對于檢測和防止這些攻擊至關重要。

當前，你對智能體在網絡安全中最興奮的應用場景是什么?以及你認為哪些應用場景仍然被過度炒作或過早?

AI在過去幾年中取得了長足的進步。威脅檢測和自動響應是智能體能夠為網絡安全團隊帶來切實益處的兩種方式。能夠分類警報、跨不同工具關聯(lián)信號并提供豐富上下文的智能體可以極大地提高分析師的效率。通過增強現有的安全運營中心(SOC)工作流程，智能體可幫助員工專注于戰(zhàn)略任務，而不是篩選原始數據。

然而，能夠在實時生產環(huán)境中做出單方面決策的完全自主的智能體仍然存在風險。幻覺或錯誤行為可能會關閉關鍵基礎設施或創(chuàng)建后門，而人類操作員卻未能及時發(fā)現錯誤。監(jiān)督機制、手動審批和強大的防護欄仍然至關重要。

被過度炒作或過早的應用場景包括無需人類干預的端到端“自我修復”系統(tǒng)。在不斷變化的安全環(huán)境中，確保問責制和減輕意外后果需要人類審查過程。將智能體與人為介入循環(huán)策略相結合，在一段時間內很可能仍將是最佳實踐。

展望未來3到5年，一個成熟的智能體賦能的SOC會是什么樣子?哪些功能將成為常態(tài)，而我們仍將在應對哪些風險?

僅在過去一年我們就看到了如此多的增長，因此我想象在未來3到5年內，智能體將非常令人印象深刻。我預計，智能體賦能的SOC將配備在整個事件生命周期中嵌入的半自主智能體。它們將能夠分類警報、生成事件報告并實施補救操作。

跨工具集成(例如，漏洞掃描器、端點檢測和響應(EDR)解決方案或威脅情報源)是未來幾年將發(fā)展的另一種能力。人類分析師將能夠更專注于戰(zhàn)略分析、微調其智能體的行為，以及處理獨特的網絡安全情況。

成熟度的提高將伴隨著同樣成熟的攻擊和網絡安全風險。保持強大的安全態(tài)勢不僅需要先進的AI，還需要持續(xù)的驗證、紅隊測試和仔細的治理。沒有任何工具是萬能的——尤其是在不斷演變的威脅環(huán)境中。