保護AI堆棧中的數據意味著了解數據流向何處以及防止濫用。

譯自Who’s Responsible When AI Agents Go Rogue?，作者 Vrajesh Bhavsar。

無論您身處科技界還是與家人共進晚餐，如今都無法逃脫AI的影響。我們許多人都經歷了AI發展的幾個周期，每一個新的增長階段都會引發許多關于我們如何走到這里以及我們將走向何方的疑問。幾年前，在ARM構建機器學習產品時，我們也面臨著許多這樣的問題，創新和AI的獨立性是緊密交織的概念這一點非常清楚。

快進到今天的AI時代，雖然我們還沒有被天網接管，但人們、企業和社會越來越擔心最新階段的廣泛生成式AI應用帶來的新的攻擊面。無論您是擔心深度偽造驅動的社會工程攻擊、AI驅動的網絡釣魚攻擊還是提示注入攻擊，都有充分的理由擔心AI應用堆棧中潛伏的新風險；畢竟，AI并非存在于真空中——它集成在應用堆棧的每個層級的核心，處理海量數據，包括高度敏感的數據，并與各種第三方交換這些數據，無論是OpenAI這樣的AI API還是來自Hugging Face的內部模型。

盡管AI有缺陷，但不可否認的是，它在生產力和創新方面具有巨大的潛力。雖然并不完美，但AI代理即將變得更加普遍。根據Capgemini的一項調查，82%的科技高管“打算在未來三年內在其組織中整合基于AI的代理——高于目前擁有功能性代理的10%”。

隨著AI代理的日益普及，在其使用它們的重點行業中，潛在的危險也在增加。鑒于此，C級高管面臨著一個關鍵問題：當AI失控時，誰來負責？

AI的激增正在擾亂現代企業的組織結構。Pearl Meyer的一份報告顯示，30%的公司選擇將AI相關的責任納入現有的高管角色。與此同時，“32%的公司正在采取去中心化的AI監督方法，并期望AI工作由多個職能部門的各種領導者負責”。

在當今大多數組織中，CISO、CIO和CTO承擔著AI行為和安全的主要責任。這可能會在不同的領導角色之間造成緊張關系，因為CISO無法控制AI系統，但他們卻負責維護安全。

由于AI是共享責任，組織必須采用能夠明確定義問責制并彌合不同領導領域之間差距的策略和工具。

為AI的“黑箱”帶來透明度

透明度是實現問責制的重要第一步。作為一名工程師，當我解構系統的工作原理時，我天生就感到快樂。在操作系統和加密領域之間架起橋梁，我了解了如何在這些復雜的軟件系統之間建立透明度和信任。

但這對于那些在AI開發前沿的人來說并非易事。傳統的軟件工程傾向于依賴于可以編寫和審核的預定義規則的確定性系統。相比之下，現代概率生成式AI系統根據其對可能性的復雜和多維計算做出（通常是不可預測的）預測。概率系統，就其本質而言，是不透明的。

因此，如果AI代理失控并且無法解釋其決策，那么確定出了什么問題可能具有挑戰性（如果不是不可能的話）。那么，負責AI系統的領導者如何在這樣一個不完美的世界中獲得盡可能多的透明度和控制權呢？AI 的好壞取決于驅動它的數據——正如諺語所說，“垃圾進，垃圾出”——因此，清晰記錄哪些訓練數據正在為模型提供支持至關重要。盡可能頻繁地擦除和刪除可能有意或無意地被納入其建模中的私人信息，也至關重要。

當通過 AI API 部署 AI 時，團隊必須完整了解其數據和應用程序行為如何與外部實體（例如 Open AI）交互。他們需要了解哪些數據預期會流經模型（以及哪些數據不會），并實時訪問其 AI 代理的運行方式，以便能夠立即捕獲和阻止意外行為，防止它們竊取數據或使整個系統癱瘓。

利用技術增強人工監督

一些人認為，人類需要與 AI 交互才能使其保持問責制，但我們如何才能避免人工監督成為創新的障礙呢？

設計 AI 與人類專家互動以增強其能力而不是取代他們是一個良好的開端。然后，團隊必須利用技術主動限制對 AI 代理的訪問，以減少或消除惡意破壞的后果。

就像我們在網絡安全環境中強制執行零信任一樣，訪問控制和權限是根據安全的“最小權限”模型分配給特定個人的，同樣也應該將“最小權限”邏輯應用于 AI 代理。這樣，AI 代理的任務就可以被限制，攻擊面也將減小。同時，在關鍵時刻進行人工監督為最終負責其行為的團隊和領導者提供了至關重要的透明度和控制。

AI 革命正在蓬勃發展，但我們仍處于起步階段。組織必須確定誰應對 AI 的行為負責，這可能意味著彌合 CISO、CIO 和 CTO 之間的差距，或聘用一位完全專注于 AI 的高管。通過建立問責制，提高透明度，并利用技術增強人工監督，公司將能夠很好地利用 AI 的優勢，安全可靠地推動創新。