生成式 AI 面臨的的主要安全風(fēng)險(xiǎn)以及解決策略

作者：跳舞的花栗鼠 2025-06-16 08:24:44

生成式AI安全性非常重要，因?yàn)樗梢源_保生成式AI系統(tǒng)能夠在整個(gè)組織內(nèi)安全、可靠、負(fù)責(zé)任地部署。

生成式AI 的主要安全風(fēng)險(xiǎn)、威脅和挑戰(zhàn)包括：

即時(shí)注入攻擊
人工智能系統(tǒng)和基礎(chǔ)設(shè)施安全
不安全的AI生成代碼
數(shù)據(jù)中毒
人工智能供應(yīng)鏈漏洞
人工智能生成的內(nèi)容完整性風(fēng)險(xiǎn)
影子人工智能
敏感數(shù)據(jù)泄露或泄漏
訪問和身份驗(yàn)證漏洞
模型漂移和性能下降
治理和合規(guī)問題
算法透明度和可解釋性

為什么生成式AI 安全很重要？

生成式AI 安全性非常重要，因?yàn)樗梢源_保生成式AI 系統(tǒng)能夠在整個(gè)組織內(nèi)安全、可靠、負(fù)責(zé)任地部署。

更具體地說(shuō)：生成式人工智能正在迅速被采用，速度快得超過了大多數(shù)組織對(duì)其的保障。

根據(jù)麥肯錫的調(diào)查《人工智能現(xiàn)狀：企業(yè)如何重塑以捕捉價(jià)值》， 71% 的受訪者表示，其企業(yè)至少在一項(xiàng)業(yè)務(wù)職能中定期使用生成式人工智能。這一比例高于 2024 年初的 65% 和 2023 年的 33%。

這才是核心問題。生成式AI 不僅能提升生產(chǎn)力，還能重塑數(shù)據(jù)流動(dòng)方式、系統(tǒng)交互方式以及決策制定方式。隨之而來(lái)的是更廣泛、更動(dòng)態(tài)的攻擊面。

Gartner 公司表示：“到 2027 年，超過 40% 的人工智能相關(guān)數(shù)據(jù)泄露將因跨境不當(dāng)使用生成人工智能 (生成式AI) 而造成。”

- Gartner 新聞稿，“Gartner 預(yù)測(cè)，到 2027 年，40% 的 AI 數(shù)據(jù)泄露將源于跨境生成式AI濫用”，2025 年 2 月 17 日。

即時(shí)注入攻擊

即時(shí)注入攻擊會(huì)操縱人工智能系統(tǒng)的輸入，旨在使模型產(chǎn)生有害或非預(yù)期的輸出。

他們通過在提示中嵌入惡意指令來(lái)實(shí)現(xiàn)這一點(diǎn)。人工智能會(huì)像處理任何正常輸入一樣處理該提示。但它會(huì)遵循攻擊者的意圖。

例如：提示可能會(huì)誘使人工智能泄露敏感信息或繞過安全控制。這是因?yàn)樵S多模型在沒有嚴(yán)格輸入驗(yàn)證的情況下就能響應(yīng)自然語(yǔ)言。

這在交互式工具中尤其危險(xiǎn)。想想客服聊天機(jī)器人。攻擊者可能會(huì)潛入隱藏命令。聊天機(jī)器人可能會(huì)在不知情的情況下提取私人賬戶信息。

攻擊并非總是直接的。在某些情況下，攻擊者會(huì)操縱模型所依賴的數(shù)據(jù)。這些間接的即時(shí)注入會(huì)改變 AI 所提取的 Web 內(nèi)容或數(shù)據(jù)庫(kù)。

這意味著：模型會(huì)隨著時(shí)間的推移吸收不良信息。這會(huì)導(dǎo)致有偏差、扭曲或不安全的輸出——即使之后沒有惡意提示。

對(duì)策：

約束模型行為：在系統(tǒng)提示中定義嚴(yán)格的操作邊界。明確指示模型拒絕任何試圖修改其行為的行為。將靜態(tài)規(guī)則與動(dòng)態(tài)檢測(cè)相結(jié)合，實(shí)時(shí)捕獲惡意輸入。
強(qiáng)制輸出格式：限制模型響應(yīng)的結(jié)構(gòu)。使用預(yù)定義模板并在顯示輸出之前進(jìn)行驗(yàn)證——尤其是在開放式生成可能被濫用的高風(fēng)險(xiǎn)工作流程中。
驗(yàn)證和過濾輸入：使用多層輸入過濾。其中包括正則表達(dá)式、特殊字符檢測(cè)、基于 NLP 的異常檢測(cè)以及拒絕 Base64 或 Unicode 變體等混淆內(nèi)容。
應(yīng)用最小權(quán)限：限制模型的訪問權(quán)限。使用基于角色的訪問控制(RBAC)，限制 API 權(quán)限，并將模型與敏感環(huán)境隔離。安全存儲(chǔ)憑證并定期審核訪問。
敏感操作需人工審批：為高影響決策添加人工審核步驟。這包括任何涉及系統(tǒng)變更、外部命令或數(shù)據(jù)檢索的操作。使用風(fēng)險(xiǎn)評(píng)分和多步驟驗(yàn)證來(lái)指導(dǎo)何時(shí)需要人工介入。
隔離外部數(shù)據(jù)：將用戶生成的內(nèi)容或第三方內(nèi)容與模型內(nèi)部指令分開。在使用外部輸入影響模型行為之前，請(qǐng)標(biāo)記這些輸入并驗(yàn)證其可信度。
模擬攻擊：定期使用真實(shí)案例進(jìn)行對(duì)抗性測(cè)試。紅隊(duì)演練和自動(dòng)化攻擊模擬可以幫助攻擊者搶在對(duì)手之前發(fā)現(xiàn)漏洞。
監(jiān)控 AI 交互：記錄會(huì)話間的輸入和輸出。注意異常的提示結(jié)構(gòu)、意外的輸出模式以及偏離模型預(yù)期角色的行為
保持防御措施的時(shí)效性：隨著威脅形勢(shì)的變化，更新您的提示工程、檢測(cè)邏輯和模型限制。在實(shí)施更改之前，請(qǐng)?jiān)谏澈协h(huán)境中進(jìn)行測(cè)試。
訓(xùn)練模型識(shí)別惡意輸入：使用對(duì)抗訓(xùn)練和實(shí)時(shí)輸入分類器來(lái)提升模型檢測(cè)危險(xiǎn)提示的能力。基于人工反饋的強(qiáng)化學(xué)習(xí)可以幫助模型逐步完善這一能力。
教育用戶：確保用戶了解快速注入的工作原理。教會(huì)他們識(shí)別可疑行為，并負(fù)責(zé)任地與人工智能系統(tǒng)互動(dòng)。

人工智能系統(tǒng)和基礎(chǔ)設(shè)施安全

安全性較差的生成式AI 基礎(chǔ)設(shè)施會(huì)帶來(lái)嚴(yán)重風(fēng)險(xiǎn)。如果沒有得到妥善保護(hù)，API、插件和托管環(huán)境都可能成為入口點(diǎn)。

例如：如果 API 缺乏適當(dāng)?shù)纳矸蒡?yàn)證或輸入驗(yàn)證，攻擊者可能會(huì)獲取敏感功能的訪問權(quán)限。這可能意味著篡改模型輸出，甚至觸發(fā)拒絕服務(wù)事件。

這為什么重要？

因?yàn)檫@些漏洞不僅影響系統(tǒng)正常運(yùn)行時(shí)間，還會(huì)影響人們對(duì) 生成式AI系統(tǒng)的整體信任。

訪問控制失效、集成不安全以及隔離不足都可能導(dǎo)致數(shù)據(jù)泄露，甚至導(dǎo)致未經(jīng)授權(quán)的模型操縱。

這對(duì)于處理敏感數(shù)據(jù)的行業(yè)尤其重要，例如醫(yī)療保健、金融或個(gè)人數(shù)據(jù)平臺(tái)。

簡(jiǎn)而言之：保障基礎(chǔ)設(shè)施安全至關(guān)重要。沒有它，系統(tǒng)的其余部分就不可信。

對(duì)策：

增強(qiáng)的身份驗(yàn)證協(xié)議：使用多重身份驗(yàn)證和強(qiáng)加密技術(shù)，確保對(duì) 生成式AI API、插件接口和系統(tǒng)組件的訪問安全。這有助于防止未經(jīng)授權(quán)使用模型功能或暴露敏感端點(diǎn)。
全面的輸入驗(yàn)證：驗(yàn)證所有輸入（無(wú)論是來(lái)自用戶、應(yīng)用程序還是上游服務(wù)），以降低針對(duì) 生成式AI工作流的提示注入和其他基于輸入的攻擊的風(fēng)險(xiǎn)。
定期安全審計(jì)：針對(duì) 生成式AI特定的基礎(chǔ)設(shè)施進(jìn)行持續(xù)的審計(jì)和滲透測(cè)試。優(yōu)先考慮那些配置不當(dāng)可能導(dǎo)致模型篡改或數(shù)據(jù)泄露的 API、插件和編排層。
異常檢測(cè)系統(tǒng)：實(shí)施監(jiān)控工具，對(duì)正常的生成式AI操作（例如模型查詢、插件活動(dòng)或資源使用情況）進(jìn)行基準(zhǔn)測(cè)試，并對(duì)可能表明存在泄露或?yàn)E用的偏差發(fā)出警報(bào)。
安全培訓(xùn)和意識(shí)：對(duì)開發(fā)人員和操作員進(jìn)行生成式AI特定風(fēng)險(xiǎn)（例如提示注入或不安全的模型端點(diǎn)）的培訓(xùn)，并確保安全性嵌入到模型部署和集成工作流程中。
事件響應(yīng)計(jì)劃：通過將這些場(chǎng)景集成到事件響應(yīng)計(jì)劃和桌面演習(xí)中，為特定于生成式AI的事件（例如模型誤用、插件泄露或 API 濫用）做好準(zhǔn)備。
數(shù)據(jù)加密：加密生成式AI系統(tǒng)使用的所有敏感數(shù)據(jù)，包括訓(xùn)練數(shù)據(jù)、API 響應(yīng)和插件通信。這可以保護(hù)存儲(chǔ)和傳輸過程中的機(jī)密性，尤其是在使用第三方服務(wù)時(shí)。

不安全的AI生成代碼

AI 生成的代碼通常用于節(jié)省時(shí)間。許多人認(rèn)為這是一條捷徑——開發(fā)速度更快，而且質(zhì)量不會(huì)受到影響。

但事情并不總是這樣。這些工具可能會(huì)帶來(lái)嚴(yán)重的安全問題。而開發(fā)人員甚至可能沒有意識(shí)到這一點(diǎn)。

方法如下：

AI 編程助手基于大型訓(xùn)練數(shù)據(jù)集生成輸出。這些數(shù)據(jù)集通常包含來(lái)自開源存儲(chǔ)庫(kù)的公共代碼。但其中許多代碼從未經(jīng)過安全審查。如果存在不安全的模式，模型可能會(huì)復(fù)制這些模式。而且在很多情況下，情況確實(shí)如此。

為什么這很危險(xiǎn)？

因?yàn)槁┒纯赡茉谠缙诰鸵亚度胲浖小２话踩拇a可能會(huì)調(diào)用過時(shí)的軟件包、忽略輸入驗(yàn)證或錯(cuò)誤處理內(nèi)存。它也可能編譯并正常運(yùn)行。

但在表面之下，它卻十分脆弱。攻擊者正是尋找這種弱點(diǎn)。

事實(shí)上，這些模型生成具有已知錯(cuò)誤和漏洞的代碼并不少見。

在CSET 評(píng)估中，包括 GPT-4 和 Code Llama 等開源工具在內(nèi)的五種主流模型生成的代碼片段中，近一半存在至少一個(gè)安全相關(guān)缺陷。其中一些缺陷嚴(yán)重到足以導(dǎo)致緩沖區(qū)溢出或未經(jīng)授權(quán)的內(nèi)存訪問。

這些不僅僅是不好的做法——它們還是可利用的切入點(diǎn)。

這是最棘手的部分。許多開發(fā)人員對(duì) AI 生成的代碼過于信任。在CSET 的研究中，大多數(shù)參與者認(rèn)為這些代碼是安全的——即使事實(shí)并非如此。這就是自動(dòng)化偏見。它會(huì)導(dǎo)致不安全的代碼被直接復(fù)制到生產(chǎn)環(huán)境中。

透明度是另一個(gè)問題。開發(fā)人員無(wú)法檢查模型是如何做出決策的，也無(wú)法了解它為什么會(huì)提出特定的模式。即使被提示“注意安全”，一些模型仍然會(huì)輸出有風(fēng)險(xiǎn)的代碼。另一些模型會(huì)返回?zé)o法編譯或驗(yàn)證的部分函數(shù)。

這使得自動(dòng)化審查更加困難。如果沒有審查，不良代碼就可能被漏掉。此外，還存在反饋風(fēng)險(xiǎn)。不安全的人工智能生成的代碼有時(shí)會(huì)被發(fā)布到開源存儲(chǔ)庫(kù)。之后，它可能會(huì)被重新用于訓(xùn)練數(shù)據(jù)。這就形成了一個(gè)循環(huán)——今天的糟糕代碼會(huì)影響明天的模型行為。而這正是讓情況變得更糟的原因。

盡管模型在生成代碼方面越來(lái)越優(yōu)秀，但它們?cè)谏砂踩a方面并不總是表現(xiàn)得更好。許多模型仍然優(yōu)先考慮功能性，而不是安全性。

這很重要，因?yàn)锳I生成的代碼不僅僅是一個(gè)工具。它改變了代碼的編寫、審查和復(fù)用方式。除非這些變化得到充分考慮，否則它們會(huì)在整個(gè)軟件生命周期中帶來(lái)風(fēng)險(xiǎn)。

對(duì)策：

不要盲目相信輸出結(jié)果：對(duì) AI 生成的代碼要像審查初級(jí)開發(fā)人員的貢獻(xiàn)一樣進(jìn)行審查。人工審核仍然必不可少。
安全機(jī)制提前：在開發(fā)生命周期的早期階段集成安全檢查，最好是在開發(fā)者的 IDE 中。在開發(fā)初期發(fā)現(xiàn)問題比事后再清理更快捷、更經(jīng)濟(jì)。
盡可能使用形式化驗(yàn)證工具：這些工具可以自動(dòng)檢測(cè)特定類型的錯(cuò)誤，并減少對(duì)人工檢查的依賴。但請(qǐng)記住：沒有完美的工具。應(yīng)使用多種方法。
使用安全的訓(xùn)練數(shù)據(jù)和基準(zhǔn)： AI開發(fā)者應(yīng)該從數(shù)據(jù)集中過濾掉已知的不安全模式。他們不僅應(yīng)該評(píng)估模型的運(yùn)行效果，還應(yīng)該評(píng)估其安全性。
教育開發(fā)人員：確保他們理解“有效代碼”并不總是意味著“安全代碼”。提高對(duì)自動(dòng)化偏見的認(rèn)識(shí)，并鼓勵(lì)團(tuán)隊(duì)以合理的懷疑態(tài)度看待人工智能生成的代碼。

數(shù)據(jù)中毒

數(shù)據(jù)中毒涉及惡意改變用于構(gòu)建人工智能模型的訓(xùn)練數(shù)據(jù)，導(dǎo)致其行為不可預(yù)測(cè)或惡意。

通過向數(shù)據(jù)集注入誤導(dǎo)性或有偏見的數(shù)據(jù)，攻擊者可以影響模型的輸出，使其偏向某些操作或結(jié)果。這可能導(dǎo)致錯(cuò)誤的預(yù)測(cè)、漏洞或有偏見的決策。

防止數(shù)據(jù)中毒需要安全的數(shù)據(jù)收集實(shí)踐和監(jiān)控訓(xùn)練數(shù)據(jù)集中的異常模式。

在生成式AI系統(tǒng)中，數(shù)據(jù)中毒尤其難以檢測(cè)，因?yàn)橹卸緲颖就ǔ?shù)量少，但影響卻很大。只需少量被篡改的樣本，就可能使模型的行為朝著特定方向轉(zhuǎn)變。

一些數(shù)據(jù)中毒攻擊旨在改變模型對(duì)特定提示的響應(yīng)方式。另一些攻擊則嵌入僅在特定條件下激活的隱藏觸發(fā)器。這就是為什么這是一個(gè)問題。

許多生成式AI系統(tǒng)會(huì)根據(jù)第三方來(lái)源或用戶交互進(jìn)行重新訓(xùn)練或微調(diào)。因此，攻擊者無(wú)需訪問原始訓(xùn)練流程，就可以毒害后續(xù)傳入的數(shù)據(jù)。由于這些系統(tǒng)經(jīng)常持續(xù)更新，中毒輸入會(huì)慢慢累積，這使得在行為變化引發(fā)問題之前發(fā)現(xiàn)它們變得更加困難。

并非所有的中毒攻擊都試圖破壞模型。有些攻擊會(huì)在保持輸出功能的同時(shí)引入偏差。

例如：一個(gè)情緒模型可能被訓(xùn)練成偏向某個(gè)群體或品牌。結(jié)果看起來(lái)正確，但這種偏差是故意造成的。

重要提示：生成式AI系統(tǒng)在大多數(shù)情況下通常表現(xiàn)正常。正因如此，中毒行為才如此難以察覺。

標(biāo)準(zhǔn)性能測(cè)試可能無(wú)法發(fā)現(xiàn)這個(gè)問題。相反，組織需要針對(duì)邊緣情況和對(duì)抗性輸入進(jìn)行有針對(duì)性的測(cè)試。

對(duì)策：

保障AI 應(yīng)用程序開發(fā)生命周期的安全：這包括維護(hù)軟件供應(yīng)鏈的安全，該供應(yīng)鏈本身涵蓋了開發(fā)過程中所需的模型、數(shù)據(jù)庫(kù)和數(shù)據(jù)源。確保這些元素的安全有助于防止數(shù)據(jù)中毒。
了解、控制和管理數(shù)據(jù)路徑：通過確保您了解數(shù)據(jù)如何在系統(tǒng)中移動(dòng)，您可以防止未經(jīng)授權(quán)的訪問或操縱，其中包括防止數(shù)據(jù)中毒。
實(shí)施基于身份的訪問控制：應(yīng)用基于身份的嚴(yán)格訪問控制，特別是在訓(xùn)練數(shù)據(jù)等敏感區(qū)域，可以幫助防止未經(jīng)授權(quán)的注入中毒數(shù)據(jù)的企圖。
檢測(cè)并刪除中毒或不良的訓(xùn)練數(shù)據(jù)：建立流程來(lái)檢測(cè)數(shù)據(jù)中可能表明篡改或中毒的異常，并確保刪除或更正此類數(shù)據(jù)。

人工智能供應(yīng)鏈漏洞

許多組織依賴第三方模型、開源數(shù)據(jù)集和預(yù)訓(xùn)練的 AI 服務(wù)。這帶來(lái)了諸如模型后門、數(shù)據(jù)集中毒和訓(xùn)練流程受損等風(fēng)險(xiǎn)。

例如：模型竊取，又稱模型提取，是指攻擊者竊取已訓(xùn)練的人工智能模型的架構(gòu)或參數(shù)。攻擊者可以通過查詢模型并分析其響應(yīng)來(lái)推斷其內(nèi)部工作原理。

簡(jiǎn)而言之，竊取的模型可以讓攻擊者繞過訓(xùn)練高質(zhì)量人工智能系統(tǒng)所需的努力和成本。

但模型盜竊并不是唯一的問題。

生成式AI系統(tǒng)通常依賴于復(fù)雜的軟件包、組件和基礎(chǔ)架構(gòu)鏈，這些組件和基礎(chǔ)架構(gòu)可能在多個(gè)位置被利用。單個(gè)受感染的依賴項(xiàng)就可能允許攻擊者竊取敏感數(shù)據(jù)或?qū)阂膺壿嬜⑷胂到y(tǒng)。

例如： 2022 年 12 月，針對(duì)PyTorch-nightly軟件包的供應(yīng)鏈攻擊充分展現(xiàn)了被入侵的軟件庫(kù)的危險(xiǎn)性。攻擊者利用惡意依賴項(xiàng)收集和傳輸環(huán)境變量，從而暴露了受影響計(jì)算機(jī)上存儲(chǔ)的機(jī)密信息。

它并不僅限于軟件庫(kù)。基礎(chǔ)設(shè)施漏洞（例如配置錯(cuò)誤的 Web 服務(wù)器、數(shù)據(jù)庫(kù)或計(jì)算資源）也同樣危險(xiǎn)。攻擊者只要攻陷任何底層組件，就可能干擾數(shù)據(jù)流、劫持計(jì)算作業(yè)或泄露敏感信息。如果系統(tǒng)缺乏適當(dāng)?shù)脑L問控制，這種風(fēng)險(xiǎn)可能會(huì)蔓延至各個(gè)服務(wù)和組件。

此外，還有來(lái)自數(shù)據(jù)集中毒的風(fēng)險(xiǎn)。攻擊者可以修改數(shù)據(jù)或?qū)?shù)據(jù)注入訓(xùn)練流程，從而巧妙地操縱模型行為。

這并非只是假設(shè)。有毒的輸入會(huì)隨著時(shí)間的推移影響模型輸出，尤其是在能夠適應(yīng)新數(shù)據(jù)的生成式AI系統(tǒng)中。

更糟糕的是：如果基礎(chǔ)模型已經(jīng)受到威脅，任何繼承自該基礎(chǔ)模型的微調(diào)模型也可能延續(xù)這些問題。預(yù)訓(xùn)練期間插入的后門可能會(huì)悄無(wú)聲息地持續(xù)存在，除非被發(fā)現(xiàn)并修復(fù)。

第三方組件也可能因?qū)嵤┎划?dāng)而產(chǎn)生風(fēng)險(xiǎn)。2023 年 3 月，ChatGPT 使用的 Redis 連接器庫(kù)中存在一個(gè)漏洞，導(dǎo)致橫向權(quán)限提升。不恰當(dāng)?shù)母綦x機(jī)制導(dǎo)致用戶能夠查看其他用戶會(huì)話的數(shù)據(jù)。

這一事件凸顯了即插即用組件即使被廣泛采用，如果不能安全集成，也會(huì)帶來(lái)嚴(yán)重的安全隱患。

對(duì)策：

跟蹤并審查依賴項(xiàng)：定期審核第三方軟件包、庫(kù)和插件。密切關(guān)注集成到模型訓(xùn)練或推理工作流程中的工具。被入侵的組件可能被用于竊取數(shù)據(jù)或篡改模型行為。
驗(yàn)證數(shù)據(jù)和模型完整性：使用加密哈希和數(shù)字簽名來(lái)確保數(shù)據(jù)集和模型文件未被更改。這有助于在部署之前檢測(cè)中毒嘗試或未經(jīng)授權(quán)的更改。
保護(hù)您的數(shù)據(jù)管道：限制訓(xùn)練數(shù)據(jù)的來(lái)源。應(yīng)用監(jiān)控措施，監(jiān)控?cái)?shù)據(jù)內(nèi)容或結(jié)構(gòu)的異常變化。持續(xù)進(jìn)行再訓(xùn)練的生成式AI系統(tǒng)尤其容易受到隱蔽的長(zhǎng)期中毒攻擊。
強(qiáng)化基礎(chǔ)架構(gòu)和連接器：通過強(qiáng)大的身份驗(yàn)證和訪問控制來(lái)保護(hù) API、托管環(huán)境和模型服務(wù)平臺(tái)。即使是間接組件（例如緩存層或連接器庫(kù)）也可能帶來(lái)風(fēng)險(xiǎn)。
將安全性集成到模型生命周期工作流程中：像對(duì)待其他軟件開發(fā)流程一樣對(duì)待模型開發(fā)、微調(diào)和部署。在每個(gè)階段都融入漏洞掃描、訪問檢查和依賴項(xiàng)審查。
制定事件響應(yīng)計(jì)劃：定義調(diào)查可疑模型行為的流程。如果發(fā)生供應(yīng)鏈攻擊，您需要一種方法來(lái)隔離系統(tǒng)、確認(rèn)完整性并快速回滾受損組件。

人工智能生成的內(nèi)容完整性風(fēng)險(xiǎn)

生成式AI模型可能會(huì)引入偏見、產(chǎn)生誤導(dǎo)性內(nèi)容或生成完全錯(cuò)誤的信息。這對(duì)于安全來(lái)說(shuō)是一個(gè)問題，但對(duì)于信任來(lái)說(shuō)也是一個(gè)問題。

資料來(lái)源：https://www.bmj.com/content/372/bmj.n304

原因如下：這些模型通常以自信流暢的語(yǔ)氣呈現(xiàn)輸出——即使信息錯(cuò)誤或存在偏見。這使得用戶更難發(fā)現(xiàn)錯(cuò)誤，也更容易被攻擊者利用。

例如：一個(gè)基于有偏見的數(shù)據(jù)訓(xùn)練的模型，可能會(huì)在招聘摘要中始終偏向某一特定人群。或者，它會(huì)生成看似真實(shí)但實(shí)際上并非如此的醫(yī)療證明。這些不僅僅是不準(zhǔn)確的信息，它們還會(huì)影響決策，有時(shí)甚至?xí)灾陵P(guān)重要的方式產(chǎn)生影響。

攻擊者知道這一點(diǎn)。

即時(shí)操縱可能會(huì)觸發(fā)降低信任的輸出。它可能是攻擊性語(yǔ)言，也可能是精心設(shè)計(jì)的錯(cuò)誤信息內(nèi)容。在某些情況下，生成式AI系統(tǒng)已被用于生成網(wǎng)絡(luò)釣魚和社會(huì)工程的材料。

需要注意的是：并非所有問題都源于惡意。有些問題源于模型設(shè)計(jì)，有些則源于糟糕的訓(xùn)練數(shù)據(jù)。無(wú)論哪種方式，有缺陷的輸出都會(huì)帶來(lái)真正的風(fēng)險(xiǎn)——尤其是在受監(jiān)管或高風(fēng)險(xiǎn)的環(huán)境中。

這就是為什么對(duì)齊和幻覺控制很重要。對(duì)齊有助于模型保持在規(guī)范的范圍內(nèi)，從而使輸出符合預(yù)期目標(biāo)和規(guī)范。幻覺控制有助于減少虛構(gòu)的細(xì)節(jié)。它們共同維護(hù)了內(nèi)容的完整性，并有助于防止生成式AI成為錯(cuò)誤信息的來(lái)源。

對(duì)策：

控制訓(xùn)練數(shù)據(jù)中的偏差：在訓(xùn)練或微調(diào)之前，審查并篩選數(shù)據(jù)集。密切關(guān)注人口統(tǒng)計(jì)代表性和已知的偏差來(lái)源。
通過人工監(jiān)督驗(yàn)證輸出：對(duì)于影響重大的用例，尤其是在決策可能影響健康、安全或個(gè)人權(quán)利的情況下，使用人工參與審查。
調(diào)整對(duì)齊：微調(diào)模型以遵循預(yù)期目標(biāo)和規(guī)范。這有助于減少有害、偏離主題或操縱性的輸出。
限制提示操作的暴露：限制敏感環(huán)境中的提示訪問。監(jiān)控可能存在濫用行為的模式，例如試圖觸發(fā)帶有偏見或不安全內(nèi)容的行為。
監(jiān)控虛假信息：添加檢查，標(biāo)記未經(jīng)證實(shí)的聲明或虛假信息。這對(duì)于受監(jiān)管或高信任度的域名尤其重要。
設(shè)定清晰的模型使用邊界：為每個(gè)模型定義合適的用例。應(yīng)用控制措施，防止其在不受支持或高風(fēng)險(xiǎn)的環(huán)境中被使用。
在邊緣條件下進(jìn)行測(cè)試：使用對(duì)抗性輸入來(lái)評(píng)估模型在非典型情況下的表現(xiàn)。這有助于發(fā)現(xiàn)常規(guī)測(cè)試中未發(fā)現(xiàn)的風(fēng)險(xiǎn)。

影子人工智能

對(duì)人工智能能力的渴求已經(jīng)催生了影子人工智能，就像影子IT是邁向云和軟件即服務(wù) (SaaS) 轉(zhuǎn)型的第一步一樣。安全領(lǐng)導(dǎo)者需要再次引領(lǐng)這一進(jìn)程。

-Palo Alto Networks，《Unit 42 威脅前沿：為新興人工智能風(fēng)險(xiǎn)做好準(zhǔn)備》

影子人工智能是指組織內(nèi)的員工或個(gè)人在沒有 IT 或安全團(tuán)隊(duì)監(jiān)督的情況下未經(jīng)授權(quán)使用人工智能工具。

這些未經(jīng)批準(zhǔn)的工具雖然經(jīng)常用于提高生產(chǎn)力，但絕對(duì)會(huì)暴露敏感數(shù)據(jù)或造成合規(guī)性問題。不受管理的 AI 采用會(huì)帶來(lái)與早期 SaaS 采用類似的風(fēng)險(xiǎn)。

員工可能會(huì)使用外部AI工具來(lái)總結(jié)會(huì)議記錄、撰寫電子郵件或生成代碼。雖然這些工具的意圖通常無(wú)害，但如果沒有采取任何安全措施，它們可能會(huì)無(wú)意中處理機(jī)密數(shù)據(jù)，例如客戶信息、知識(shí)產(chǎn)權(quán)、內(nèi)部通信等。

當(dāng)這些工具在正式審查和采購(gòu)渠道之外使用時(shí)，沒有人會(huì)驗(yàn)證它們是否符合組織的安全性、合規(guī)性或隱私標(biāo)準(zhǔn)。這就造成了盲點(diǎn)。

而且，由于安全和IT團(tuán)隊(duì)通常無(wú)法了解正在使用哪些工具或訪問哪些數(shù)據(jù)，這種缺乏監(jiān)督的情況使得追蹤數(shù)據(jù)移動(dòng)、防止數(shù)據(jù)泄露或?qū)嵤┛刂谱兊檬掷щy。此外，不安全的AI工作流程或不良的數(shù)據(jù)處理實(shí)踐也增加了數(shù)據(jù)泄露的風(fēng)險(xiǎn)。

換句話說(shuō)：影子人工智能允許在缺乏基礎(chǔ)治理和風(fēng)險(xiǎn)控制的情況下采用人工智能，從而削弱了組織的安全態(tài)勢(shì)。

人工智能在日常工作中的應(yīng)用越深入，主動(dòng)彌補(bǔ)這些差距就越重要。否則，人工智能的使用增長(zhǎng)速度將超過組織管理風(fēng)險(xiǎn)的能力。

對(duì)策：

制定明確的人工智能使用政策：設(shè)定可使用哪些工具、允許使用哪些類型的數(shù)據(jù)以及員工應(yīng)如何評(píng)估人工智能服務(wù)的界限。
監(jiān)控未經(jīng)授權(quán)的 AI 使用：跟蹤用戶、設(shè)備和網(wǎng)絡(luò)的活動(dòng)，以檢測(cè)未經(jīng)批準(zhǔn)的 AI 工具并評(píng)估潛在的風(fēng)險(xiǎn)。
定義 AI 治理角色：分配批準(zhǔn)工具、制定政策和執(zhí)行合規(guī)性的責(zé)任，以確保所有權(quán)明確且一致。
采用前審查工具安全性：要求對(duì)新的人工智能服務(wù)進(jìn)行正式的風(fēng)險(xiǎn)評(píng)估，以確保它們符合安全、隱私和合規(guī)標(biāo)準(zhǔn)。
保持持續(xù)監(jiān)督：使用實(shí)時(shí)監(jiān)控和定期審計(jì)來(lái)跟上不斷發(fā)展的人工智能使用速度并防止無(wú)管理的蔓延。

敏感數(shù)據(jù)泄露或泄漏

生成式AI系統(tǒng)可能會(huì)無(wú)意中泄露機(jī)密信息，包括個(gè)人數(shù)據(jù)、商業(yè)機(jī)密或訓(xùn)練期間使用的其他敏感輸入。這可以通過多種方式實(shí)現(xiàn)：

這種現(xiàn)象可以通過過度擬合表現(xiàn)出來(lái)，即模型生成的輸出與其訓(xùn)練數(shù)據(jù)過于緊密地聯(lián)系在一起。或者通過諸如提示注入攻擊之類的漏洞，操縱模型來(lái)泄露敏感信息。

這之所以會(huì)成為一個(gè)重大的潛在威脅，是因?yàn)?生成式AI系統(tǒng)通常會(huì)處理大量數(shù)據(jù)，其中包括專有商業(yè)信息或個(gè)人信息。這些信息屬于敏感信息，不應(yīng)被披露。

此類數(shù)據(jù)泄露可能導(dǎo)致財(cái)務(wù)損失、聲譽(yù)損害和法律后果。

此外：生成式AI系統(tǒng)的多功能性和復(fù)雜性意味著它們可以訪問和綜合跨多個(gè)數(shù)據(jù)點(diǎn)的信息——無(wú)意中以泄露機(jī)密見解的方式將它們組合起來(lái)。

例如：一個(gè)基于敏感醫(yī)療記錄訓(xùn)練的生成式AI模型可能會(huì)生成無(wú)意中包含個(gè)人身份信息 (PII)的輸出，即使這并非查詢的意圖。同樣，如果金融服務(wù)中使用的模型沒有得到妥善保護(hù)，也可能會(huì)無(wú)意中泄露商業(yè)機(jī)密或戰(zhàn)略信息。

對(duì)策：

匿名化敏感信息：差異隱私等技術(shù)可以應(yīng)用于訓(xùn)練數(shù)據(jù)，以防止人工智能學(xué)習(xí)或泄露可識(shí)別信息。
實(shí)施嚴(yán)格的訪問控制：規(guī)定誰(shuí)可以與人工智能系統(tǒng)交互以及在什么情況下交互。
定期測(cè)試模型是否存在漏洞：持續(xù)掃描可能被利用來(lái)提取敏感數(shù)據(jù)的弱點(diǎn)。
監(jiān)控外部 AI 的使用情況：跟蹤 AI 系統(tǒng)的部署方式和位置，以確保敏感數(shù)據(jù)不會(huì)泄露到組織邊界之外。
確保 AI 應(yīng)用程序開發(fā)生命周期：在 AI 模型的整個(gè)開發(fā)和部署過程中實(shí)施安全最佳實(shí)踐，從根本上防范漏洞。
控制數(shù)據(jù)路徑：了解并保護(hù)系統(tǒng)中的數(shù)據(jù)流，以防止未經(jīng)授權(quán)的訪問或泄漏。
掃描和檢測(cè)敏感數(shù)據(jù)：使用先進(jìn)的工具來(lái)檢測(cè)和保護(hù)網(wǎng)絡(luò)中的敏感信息。

訪問和身份驗(yàn)證漏洞

當(dāng)威脅行為者繞過或?yàn)E用身份控制進(jìn)入生成式AI系統(tǒng)或其背后的基礎(chǔ)設(shè)施時(shí)，就會(huì)發(fā)生這些攻擊。

這些策略并不新鮮。但在生成式AI環(huán)境中，風(fēng)險(xiǎn)更高。

為什么？

因?yàn)?生成式AI平臺(tái)通常連接到內(nèi)部數(shù)據(jù)、生產(chǎn) API 和外部服務(wù)。因此，如果攻擊者獲得訪問權(quán)限，他們不僅可以看到數(shù)據(jù)，還可以操縱模型、輸出和下游系統(tǒng)。

工作原理如下：大多數(shù) 生成式AI設(shè)置包括 API、Web 服務(wù)以及跨存儲(chǔ)、推理引擎、數(shù)據(jù)庫(kù)和前端應(yīng)用的集成。它們通過憑證（例如令牌、密鑰或服務(wù)帳戶）連接在一起。如果其中任何一個(gè)被暴露，攻擊者就可以冒充合法用戶或服務(wù)。

例如：攻擊者可能會(huì)從模型推理 API 中竊取令牌。該令牌可能被用來(lái)發(fā)送惡意提示或提取過去的輸出歷史記錄。或者，他們可能會(huì)入侵連接到云存儲(chǔ)的插件，并利用該插件上傳有害數(shù)據(jù)或獲取機(jī)密文件。

其他攻擊始于泄露管理員憑據(jù)。這些攻擊可能來(lái)自網(wǎng)絡(luò)釣魚或憑據(jù)重用。

一旦攻擊者進(jìn)入，他們就可以升級(jí)訪問權(quán)限或改變模型的行為方式。

注意：在生成式AI環(huán)境中，會(huì)話和令牌處理尤為敏感。許多模型依賴于上下文。如果會(huì)話令牌被重復(fù)使用或存儲(chǔ)不安全，攻擊者可能會(huì)跨會(huì)話持續(xù)存在或訪問之前的交互。

另一個(gè)常見問題是權(quán)限過高。服務(wù)帳戶和測(cè)試環(huán)境通常擁有超出實(shí)際需要的訪問權(quán)限。如果這些憑證在生產(chǎn)環(huán)境中重復(fù)使用，可能會(huì)造成嚴(yán)重?fù)p害。

最終：一個(gè)薄弱環(huán)節(jié)（例如被遺忘的令牌或過度許可的 API）可能會(huì)為整個(gè)系統(tǒng)的入侵打開大門。

對(duì)策：

實(shí)施基于身份的訪問控制：要求在每個(gè)訪問點(diǎn)進(jìn)行身份驗(yàn)證，包括 API、服務(wù)和用戶界面。
使用強(qiáng)身份驗(yàn)證：應(yīng)用多因素身份驗(yàn)證和短期令牌來(lái)限制暴露。
應(yīng)用最小權(quán)限：限制賬戶和服務(wù)的訪問權(quán)限，使其僅用于其所需。避免授予廣泛或默認(rèn)的訪問權(quán)限。
監(jiān)控異常：定期檢查身份驗(yàn)證日志。查找異常活動(dòng)，例如位置變更、重復(fù)使用令牌或異常 API 行為。
安全憑證：避免對(duì)令牌或密鑰進(jìn)行硬編碼。使用安全保管庫(kù)或密鑰管理系統(tǒng)妥善存儲(chǔ)它們。

模型漂移和性能下降

當(dāng) 生成式AI模型隨著時(shí)間的推移變得不那么準(zhǔn)確或可靠時(shí)，就會(huì)發(fā)生模型漂移。這通常是因?yàn)槟Ｐ烷_始使用未經(jīng)訓(xùn)練的數(shù)據(jù)，或者使用自訓(xùn)練以來(lái)發(fā)生變化的數(shù)據(jù)。

這有什么關(guān)系？

因?yàn)?生成式AI系統(tǒng)并非停留在實(shí)驗(yàn)室中，而是在真實(shí)環(huán)境中運(yùn)行。這包括不斷變化的用戶行為、更新的內(nèi)容或不斷變化的業(yè)務(wù)條件。如果模型無(wú)法適應(yīng)，性能就會(huì)下降，進(jìn)而影響決策。

它看起來(lái)是這樣的：如果沒有更新，法律摘要模型可能會(huì)遺漏新術(shù)語(yǔ)。如果產(chǎn)品發(fā)生變化而模型保持不變，支持聊天機(jī)器人可能會(huì)給出錯(cuò)誤答案。即使是輸入的微小變化也可能導(dǎo)致性能下降。這會(huì)導(dǎo)致混亂、結(jié)果不佳，在某些情況下還會(huì)帶來(lái)監(jiān)管或法律風(fēng)險(xiǎn)。

重要的：在閉源模型中，漂移尤其難以追蹤。如果無(wú)法了解訓(xùn)練數(shù)據(jù)或模型變化，就很難理解問題所在，也很難找到解決辦法。

還有安全層面的問題。

漂移會(huì)增加出現(xiàn)幻覺和錯(cuò)位的可能性。如果模型看到不熟悉的輸入，它可能會(huì)猜測(cè)。有時(shí)它會(huì)出錯(cuò)，但聽起來(lái)很有把握。在其他情況下，它可能會(huì)忽略內(nèi)置規(guī)則，或生成違反預(yù)期的輸出。

換句話說(shuō)：如果偏差未被發(fā)現(xiàn)，它不僅會(huì)降低質(zhì)量，還會(huì)造成運(yùn)營(yíng)風(fēng)險(xiǎn)、決策問題和聲譽(yù)受損。

對(duì)策：

定期監(jiān)測(cè)模型性能：將輸出結(jié)果與已知基準(zhǔn)或 KPI 進(jìn)行比較。留意可能預(yù)示偏差的漸進(jìn)式變化。
驗(yàn)證上游數(shù)據(jù)管道：確保輸入模型的數(shù)據(jù)準(zhǔn)確、結(jié)構(gòu)化且與模型預(yù)期一致。
使用新數(shù)據(jù)重新訓(xùn)練：定期使用最新數(shù)據(jù)更新模型。這有助于模型與不斷變化的輸入保持一致。
使用反饋循環(huán)：將實(shí)際使用數(shù)據(jù)納入模型評(píng)估。持續(xù)的反饋可以隨著時(shí)間的推移提高相關(guān)性。
使用后備模型或集成模型：當(dāng)置信度得分較低時(shí)，依賴輔助模型。這有助于在主模型出現(xiàn)偏差時(shí)保持準(zhǔn)確率。
實(shí)施版本控制和回滾計(jì)劃：備份過去的模型并跟蹤其隨時(shí)間的變化。如果出現(xiàn)性能問題，請(qǐng)快速回滾。
引入領(lǐng)域?qū)＜遥寒?dāng)檢測(cè)到偏差時(shí)，專家審查有助于解釋輸出是否仍然符合現(xiàn)實(shí)世界的需求。

治理和合規(guī)問題

生成式AI系統(tǒng)發(fā)展迅速，但管理它們所需的治理卻往往滯后。

這就是為什么這是一個(gè)問題：這些工具可以處理敏感數(shù)據(jù)、自動(dòng)化決策，并生成影響人員和系統(tǒng)的內(nèi)容。如果沒有監(jiān)管，它們會(huì)帶來(lái)法律、運(yùn)營(yíng)和聲譽(yù)方面的風(fēng)險(xiǎn)。

換句話說(shuō)：管控看不見摸不著的東西非常困難。許多組織缺乏對(duì)正在使用的模型、接觸的數(shù)據(jù)以及它們?cè)谏a(chǎn)中的行為方式的可見性。

當(dāng)模型以不同的方式部署時(shí)，事情會(huì)變得更加復(fù)雜。基于 API 的模型可能有一套要求。內(nèi)部托管的開源模型可能需要另一套要求。每種設(shè)置都需要各自的控制措施，并且可能根據(jù)使用地點(diǎn)和方式受到不同的監(jiān)管。

這使得一致性變得困難。許多生成式AI模型也難以審計(jì)。它們通常像黑匣子一樣工作。并不總是清楚哪些數(shù)據(jù)影響了輸出結(jié)果，或者決策是如何做出的。這在招聘、醫(yī)療保健或金融等敏感領(lǐng)域尤其危險(xiǎn)——這些領(lǐng)域的法律可能要求證明其公平性、透明度或非歧視性。

培訓(xùn)又增加了一層。如果微調(diào)涉及內(nèi)部數(shù)據(jù)，則存在泄露個(gè)人或?qū)Ｓ行畔⒌娘L(fēng)險(xiǎn)——尤其是在沒有明確政策或安全流程的情況下。

而且它不僅限于內(nèi)部使用。面向公眾的生成式AI工具可能會(huì)被探測(cè)或操縱。如果沒有防護(hù)措施，它們可能會(huì)泄露數(shù)據(jù)或生成有害內(nèi)容。這將使組織面臨違反合規(guī)性的風(fēng)險(xiǎn)，甚至更糟的是，引發(fā)公眾的強(qiáng)烈反應(yīng)。

對(duì)策：

正在使用的庫(kù)存模型：識(shí)別整個(gè)組織的所有生成式AI工具，包括實(shí)驗(yàn)或影子項(xiàng)目。
記錄數(shù)據(jù)源：追蹤數(shù)據(jù)在訓(xùn)練、微調(diào)和推理中的使用情況。標(biāo)記任何敏感或受監(jiān)管的內(nèi)容。
制定模型批準(zhǔn)政策：定義哪些可以批準(zhǔn)，哪些不可以批準(zhǔn)，以及如何做出決策。
跨團(tuán)隊(duì)共享所有權(quán)：法律、合規(guī)、安全和工程應(yīng)在治理方面進(jìn)行協(xié)調(diào)。
監(jiān)控模型行為：注意漂移、偏差或誤用——尤其是在面向客戶或影響較大的用例中。
遵守法規(guī)：定期審查法律和框架。AI合規(guī)性是一個(gè)不斷變化的目標(biāo)。