研究發現，自2023年4月至2024年1月期間，AI/ML 工具使用量飆升了594.82%。在2024大模型應用元年，多參數、高精度的 AI 大模型成就新質生產力的同時，也暴露出了諸多更復雜的安全風險?；谪撠熑蔚?AI 倫理需求，保障 AI 大模型的可靠實用、安全真實，不僅成為亟待突破的智能化瓶頸，也是保障數字化安全的關鍵課題。

延伸閱讀，點擊鏈接了解 Akamai API Security

Akamai“蜀”智出海，從“蓉”上云主題分布式云戰略高峰論壇上，上海觀安信息網絡安全專家，OWASP 上海分會主席王文君先生，圍繞 AI 大模型本身的安全問題，系統梳理了當下泛濫的 AI 大模型十大威脅，并提出了制度先行、實踐框架、安全工具三個層次的安全產業合作策略。

AI 大模型風險圖形化

提示詞注入攻擊過程中，攻擊者會通過刻意輸入惡意提示詞，操縱大型語言模型，導致大模型執行意外操作，輸出敏感信息。具體類別分為直接注入和間接注入。提示詞直接注入，會覆蓋系統提示詞；而間接注入，會隱藏惡意指令，通過文檔、網頁、圖像等載體進行注入攻擊，繞過大模型的安全檢測機制。

間接提示詞注入，更考驗黑客的思維創造能力，通常隱藏著更大危害。由于訓練成本與獲取實時數據的瓶頸問題，大模型應用過程中多涉及與插件操作，一旦大模型用插件去訪問被攻擊者操控的目標網站，攻擊者 payload 返給大模型處理后，大模型用戶將可能遭遇數據泄露等威脅。

透視不安全的輸出處理攻擊路徑，黑客會精心構造惡意查詢輸入大模型，當大模型輸出未經處理而被上游系統直接使用，則會出現此漏洞暴露上游系統，返回帶有惡意代碼的輸出，此類濫用可能會導致 XSS、CSRF、SSRF、權限升級或遠程代碼執行等嚴重后果。

黑客可能會使用包含提示注入指令等網站摘要提取工具，捕獲用戶對話敏感內容；后續大模型直接將響應傳遞給插件做惡意操作，而沒有適當的輸出驗證，則會加劇風險。因此一旦產生敏感信息、集成代碼等不安全的輸出處理時，不應該盲目信任、直接渲染，可能要做一些過濾、分析來進行處理。

數據、算法、算力，是人工智能“三駕馬車”。訓練數據投毒，是污染 AI 大模型的惡劣手段，會嚴重破壞 AI 向善格局。黑客會操縱預訓練數據或在微調或嵌入過程中涉及的數據，以引入可能危害模型安全性或道德行為的漏洞、后門或偏見內容。

投毒的信息可能會被呈現給用戶，或者造成其他風險，如性能下降、下游軟件濫用和聲譽損害。惡意行為者或競爭對手，故意針對大模型的預訓練、微調或嵌入數據進行投毒，使之輸出不正確的內容。而另一種攻擊場景，可能是大模型使用未經驗證的數據進行訓練，則會致使虛假信息泛濫。

如果說訓練數據投毒是對 LLM 資源的污染，那么大模型拒絕服務就是對資源的浪費。在此過程中，攻擊者會對大模型進行資源密集型操作，導致服務降級或高成本。由于 LLM 的資源密集型性質和用戶輸入的不可預測性，該漏洞可能會被放大。

攻擊者持續不斷地向大模型發送消耗資源的操作（生成圖像和視頻），攻擊者會通過制作利用大模型遞歸行為的輸入，占用大量計算資源。在應用高峰期，大模型拒絕服務循環運轉的話，將會對大模型的常態性能造成巨大沖擊。

供應鏈風險是近年來的熱門安全話題，不只是與勒索軟件形成協同威脅，還會滲透至大模型應用程序的生命周期中，通過薄弱環節的組件或服務生成攻擊。使用第三方數據集、預先訓練的模型和插件，都有可能引起大模型應用的供應鏈風險。譬如，攻擊者利用 PyPi 軟件包發布惡意庫，對Hugging Face市場上的大模型文件進行反序列化，篡改了一個公開可用的預訓練模型，將誘餌部署在 Hugging Face 模型市場上，等待潛在受害者下載使用。

大模型應用程序根據用戶輸入查詢，可能會輸出敏感信息，可能導致未經授權訪問敏感數據、知識產權，侵犯隱私和其他安全漏洞。攻擊者通過精心設計的一組提示詞，向大模型發送間接提示詞注入，會繞過防護機制，沒有通過脫敏而泄漏到訓練模型中去。大模型的重要應用場景，便是扮演個人辦公助手，通過處理郵件、自動匯總會議信息等方式，釋放企業員工的生產力。圍繞該場景，黑客可能借助插件獲取受害者的郵件，竊取用戶的敏感信息。配合上網絡釣魚與虛假網站，黑客的社會工程攻擊會產生更大的破壞力。

插件的存在，拓展與繁榮了大模型創新生態，但若缺失對相關調用 API 的安全管控，會帶來顯著危害。而大模型插件一旦未正確處理輸入以及沒有充分進行權限控制，攻擊者便可以利用漏洞進行攻擊，如遠程代碼執行。

啟用大模型插件時，會在用戶與大模型交互時自動調用。插件接受來自大模型輸入文本而不進行驗證，這使得攻擊者可以構造惡意請求發送給插件，造成高風險威脅。如天氣預報插件接受基本 URL 獲取天氣情況，黑客通過精心構造 URL 指向控制域名執行命令，會影響下游插件，若使用間接提示注入來操縱代碼管理插件，可造成刪庫風險。

凡事適度，即便身處大模型時代，過于相信大模型也會陷入過度代理的險境。造成此類風險的根本原因通常是功能過多、權限過多或自主權過多。過度代理會允許在大模型在出現意外時（如通過直接或間接提示注入等）會執行破壞性操作。針對 AI 大模型扮演個人智能助理場景，社會工程類攻擊者會編造一封郵件內容發給用戶。個人助理進行處理后，若沒有限制大模型的發送郵件功能，可能發送垃圾郵件/釣魚郵件給其他用戶，而文檔的插件會允許用戶執行刪除操作，而無需用戶的任何確認。

過度代理不可取，過度依賴不可信。雖然大模型可以生成創意內容，但它們也可能是生成不準確、不適當或不安全的內容幻覺。過度依賴大模型可能會導致錯誤信息、法律問題和安全漏洞。相信不少大模型用戶都會遇到過大模型“一本正經地胡說八道”的 AI 幻覺時刻。無意識的 AI 可能會進行內容剽竊，導致版權問題和對組織的信任度下降。例如，軟件開發公司使用大模型來協助開發者，同時開發人員完全信任 AI，可能無意中將惡意包集成到公司的軟件中，這將會埋下隱蔽的風險隱患。

模型失竊威脅，是指具有知識產權的私有大模型被盜取、復制或權重和參數被提取，以創建一個功能等效的模型。這將損害創新企業的經濟和品牌聲譽、削弱競爭優勢，以及致使黑客對模型進行未授權使用、盜取一些垂直領域的敏感信息等。

鑒于全球已發生多起使用AIGC導致的數據泄露事件，多國合規機構升級監管要求，當下維護 AI 大模型的安全性與可靠性，是保障各行業由數字化邁向智能化的關鍵安全基礎。以 AI 抗擊 AI 是當下的主要安全策略，2024年 RSAC 創新沙盒大賽冠軍Reality Defender網絡安全公司的深度偽造檢測平臺，即善用多模型支持政府和企業檢測 AI 生成的虛假內容，已然成為網絡安全的新風向。Akamai 首席執行官兼聯合創始人湯姆·萊頓指出，大模型提速升級的當下，短期內黑客可能獲得不對稱的優勢；但基于 Akamai AI 智能化產品，能支持客戶去檢測異常與受攻擊情況，監測撞庫攻擊、盜號等情況。在未來，Akamai 也將持續對 AI 與云服務進行創新融合，構建更為穩固的安全防線。

—————————————————————————————————————————————————

如您所在的企業也想要進一步保護API安全，

點擊鏈接 了解Akamai的解決方案