網(wǎng)安領(lǐng)導者和CISO發(fā)現(xiàn)，近年來大量影子AI應(yīng)用程序已危及企業(yè)網(wǎng)絡(luò)，有些甚至持續(xù)運行一年多。

這些應(yīng)用并非典型的攻擊手段，而是員工在無IT和安全監(jiān)管的情況下私自創(chuàng)建的AI程序。目的是實現(xiàn)從自動化報告到營銷自動化、數(shù)據(jù)分析等多種功能。依賴公司數(shù)據(jù)，它們正在使用私有數(shù)據(jù)訓練公共模型，由此衍生風險。

因此，許多機構(gòu)將影子AI視為2025年關(guān)鍵威脅之一。

影子AI泛濫成災(zāi)

所謂影子AI，是指未經(jīng)批準在企業(yè)內(nèi)部使用的AI工具和應(yīng)用。

影子AI就像"數(shù)字類固醇"，讓人能在更短時間完成更多工作。WinWire的CTO Vineet Arora指出，各部門紛紛使用未批準的AI解決方案，因為直接獲得的好處太誘人了。

Prompt Security的CEO兼聯(lián)合創(chuàng)始人Itamar Golan表示："我們每天看到50個新AI應(yīng)用，已整理超過1.2萬個。約40%默認會使用任何提供的數(shù)據(jù)訓練，這意味著用戶知識產(chǎn)權(quán)可能被納入模型。" 

影子AI應(yīng)用數(shù)量正快速增長。Software AG的一項調(diào)查顯示，75%的知識工作者已在使用AI工具，46%的人即使雇主禁止也不會放棄使用。大多數(shù)影子AI應(yīng)用依賴ChatGPT和谷歌的Gemini。

自2023年以來，ChatGPT允許用戶在幾分鐘內(nèi)創(chuàng)建定制機器人。據(jù)統(tǒng)計，一個典型的銷售、市場和定價經(jīng)理，如今平均在ChatGPT中擁有22個定制機器人。

考慮到73.8%的ChatGPT賬戶都是缺乏安全和隱私控制的非公司賬戶，影子AI如此蔓延也就不足為奇了。Gemini的這一比例更高，達到94.4%。Salesforce的一項調(diào)查顯示，超過一半(55%)的全球員工承認在工作中使用未經(jīng)批準的AI工具。

Arora發(fā)現(xiàn)，各業(yè)務(wù)部門都在秘密使用AI驅(qū)動的SaaS工具。由于多個團隊擁有獨立預算權(quán)限，業(yè)務(wù)部門正在快速部署AI，而且往往沒有經(jīng)過安全審批。

大多數(shù)創(chuàng)建影子AI應(yīng)用的員工并非出于惡意。他們正在應(yīng)對日益復雜的工作、時間緊缺和更嚴格的期限。Golan比作"這就像在環(huán)法自行車賽中使用興奮劑一樣，人們想獲得優(yōu)勢，但沒有意識到長期后果。"

Arora指出，現(xiàn)有的IT和安全框架無法檢測影子AI，大多數(shù)傳統(tǒng)工具和流程都缺乏對AI應(yīng)用的可見性和控制，這是影子AI在企業(yè)中泛濫的原因。

一場看不見的虛擬海嘯

這種方式創(chuàng)建的AI應(yīng)用和工具，很少甚至從未設(shè)置防護措施，帶來了重大風險，包括數(shù)據(jù)泄露、合規(guī)性違規(guī)和聲譽損害。

員工可能將敏感信息上傳到生成式AI工具中，導致這些數(shù)據(jù)被不當使用或泄露。據(jù)Cyberhaven報告，2024年企業(yè)員工上傳到生成式AI工具的敏感數(shù)據(jù)增長了485%。

Golan分析說，當用戶在模型中粘貼源代碼或財務(wù)數(shù)據(jù)，這些數(shù)據(jù)就存在于該模型中了。正在訓練公共模型的公司，默認使用影子AI應(yīng)用執(zhí)行各種任務(wù)。一旦專有數(shù)據(jù)進入公共領(lǐng)域模型，任何組織都將面臨更大挑戰(zhàn)，尤其是對于有重大合規(guī)性和監(jiān)管要求的上市公司而言。

他舉例，數(shù)以千計嵌入主流SaaS產(chǎn)品中的AI功能正被修改，在IT或安全人員不知情的情況下訓練、存儲和泄露公司數(shù)據(jù)。

影子AI的使用還可能違反企業(yè)的數(shù)據(jù)保護政策和法規(guī)要求，導致合規(guī)性問題。Golan指出，或許即將出臺的歐盟人工智能法案的罰款規(guī)模會超過GDPR，并警告說，如果私有數(shù)據(jù)流向未經(jīng)批準的AI工具，美國的受監(jiān)管行業(yè)也可能面臨處罰。

此外，影子AI還存在運行時漏洞和提示注入攻擊的風險，傳統(tǒng)的終端安全和數(shù)據(jù)防丟失系統(tǒng)無法檢測和阻止這些風險。

影子AI正在緩慢瓦解企業(yè)的安全邊界。由于看不到組織內(nèi)部影子AI使用的激增，許多企業(yè)都沒有注意到這一點。

Golan舉例，一家紐約金融公司的安全主管以為他們使用的AI工具不到10個，但經(jīng)過10天的審計，他們發(fā)現(xiàn)了65個未經(jīng)授權(quán)的解決方案，其中大多數(shù)都沒有正式許可。

影子AI治理的七個關(guān)鍵

是時候系統(tǒng)治理影子AI了。

Golan認為，組織要直面影子AI，而不能假裝其不存在。否則，可能會在問題發(fā)生時措手不及。

Arora表示，數(shù)據(jù)證明，一旦員工了解公司有經(jīng)過批準的AI途徑和明確的政策，就不會再覺得有必要秘密使用未經(jīng)批準的工具。這可以減少了風險和摩擦。

Arora認為，對于影子AI的管控目標，是在不失控的情況下實現(xiàn)創(chuàng)新。不斷平衡靈活性和安全性，不能因噎廢食，扼殺創(chuàng)新。因此組織必須制定具有強大安全性的策略，同時讓員工有效地使用AI技術(shù)，全面禁止往往會導致AI使用地下化，從而加劇風險。

在這種情況下，影子AI治理應(yīng)該關(guān)注以下七個關(guān)鍵：

1. 進行正式的影子AI審計。建立基于全面AI審計的起始基線。使用代理分析、網(wǎng)絡(luò)監(jiān)控和清單來揪出未經(jīng)授權(quán)的AI使用情況。Arora認為，檢測影子AI需要網(wǎng)絡(luò)流量監(jiān)控、數(shù)據(jù)流分析、軟件資產(chǎn)管理、申請，甚至人工審計。

2. 創(chuàng)建負責任AI辦公室，將IT、安全、法律和合規(guī)性的政策制定、供應(yīng)商審查和風險評估集中起來。Arora指出，這種做法在他的客戶那里非常有效。他指出，這個辦公室應(yīng)該配套強有力的AI治理框架和對員工的數(shù)據(jù)泄露潛在風險培訓。經(jīng)審批的AI目錄和強大的數(shù)據(jù)治理將確保員工使用安全、經(jīng)批準的解決方案。

3. 部署AI感知安全控制。傳統(tǒng)工具無法發(fā)現(xiàn)基于文本的漏洞。采用專注于AI的數(shù)據(jù)防丟失、實時監(jiān)控和自動化，以標記可疑提示。

4. 建立集中的AI清單和目錄。經(jīng)過審查的已批準AI工具列表，可以減少業(yè)務(wù)部門對臨時服務(wù)的誘惑。當IT和安全部門主動更新列表時，創(chuàng)建影子AI應(yīng)用程序的動機就會減少。這種方法的關(guān)鍵是保持警惕，并對用戶需求快速響應(yīng)安全的高級AI工具。

5. 強制執(zhí)行員工培訓，提供影子AI對任何企業(yè)有害的實例。Arora說："如果員工不理解，政策就沒有意義。"教育員工安全使用AI和潛在的數(shù)據(jù)處理風險。

6. 與治理、風險和合規(guī)性(GRC)以及風險管理相集成。Arora和Golan都強調(diào)，AI監(jiān)管必須與關(guān)鍵的治理、風險和合規(guī)性流程相掛鉤，這對受監(jiān)管行業(yè)至關(guān)重要。

7. 認識到全面禁令行不通，要想新辦法快速提供合法的AI應(yīng)用程序。Golan指出，全面禁令從來都不管用，反而會導致更多影子AI應(yīng)用程序的創(chuàng)建和使用。Arora建議他的客戶提供企業(yè)級安全AI選項(如Microsoft 365 Copilot、ChatGPT Enterprise)，并明確負責任使用的指引。

通過結(jié)合集中的AI治理策略、用戶培訓和主動監(jiān)控，組織可以利用生成式AI的潛力，而不會犧牲合規(guī)性或安全性。Arora強調(diào)，單一的集中管理解決方案加上一致的政策至關(guān)重要，能夠促進創(chuàng)新，同時保護企業(yè)數(shù)據(jù)，這兩全其美的最佳方案。

影子AI將長期存在。與其徹底封殺，不如著眼于實現(xiàn)安全生產(chǎn)力，讓員工能夠按照自己的方式利用AI的變革力量。

參考鏈接：
https://venturebeat.com/security/shadow-ai-unapproved-ai-apps-compromising-security-what-you-can-do-about-it/。