GenAI帶來了諸多益處，但同時(shí)也伴隨著數(shù)據(jù)安全風(fēng)險(xiǎn)，這主要通過影子AI的使用和敏感信息的泄露來實(shí)現(xiàn)。

在企業(yè)中，這些風(fēng)險(xiǎn)正在加劇，因?yàn)閱T工經(jīng)常使用私人GenAI賬戶來處理敏感數(shù)據(jù)。

根據(jù)Netskope的一項(xiàng)研究，盡管大多數(shù)企業(yè)(90%)都提供了官方批準(zhǔn)的GenAI應(yīng)用，甚至更多(98%)的企業(yè)為用戶提供了包含AI功能的應(yīng)用，但企業(yè)中未經(jīng)授權(quán)的AI服務(wù)使用仍在激增。

在企業(yè)中，大多數(shù)GenAI的使用(72%)都屬于影子IT，即個(gè)人使用私人賬戶訪問AI應(yīng)用，這種形式的私人賬戶AI使用往往不受安全團(tuán)隊(duì)的跟蹤，也不受企業(yè)安全政策的約束。

Netskope發(fā)現(xiàn)，在過去一年中，發(fā)送到GenAI應(yīng)用的數(shù)據(jù)(包括提示和上傳內(nèi)容)數(shù)量增加了30多倍，導(dǎo)致敏感數(shù)據(jù)暴露量增加，特別是源代碼、受監(jiān)管數(shù)據(jù)、知識(shí)產(chǎn)權(quán)和機(jī)密信息。

數(shù)據(jù)量從每月250MB增加到7.7GB，主要以提示和上傳的形式存在，盡管這些應(yīng)用的使用者只是企業(yè)用戶中的一小部分(4.9%)。

另一項(xiàng)來自Harmonic Security的研究發(fā)現(xiàn)，在2024年第四季度，員工向熱門大型語言模型(LLM)發(fā)出的提示中，有8.5%包含了敏感數(shù)據(jù)，這些敏感泄露數(shù)據(jù)中，近一半是客戶數(shù)據(jù)，包括賬單信息和認(rèn)證數(shù)據(jù)。法律和財(cái)務(wù)數(shù)據(jù)占暴露信息的15%，而安全相關(guān)數(shù)據(jù)(如滲透測(cè)試結(jié)果等)則占令人擔(dān)憂的7%。

缺乏監(jiān)督

影子AI是指企業(yè)內(nèi)未經(jīng)授權(quán)使用的AI服務(wù)，這些服務(wù)不受安全團(tuán)隊(duì)的跟蹤，也不受政策限制的管理。安全和AI專家表示，幾乎每個(gè)未能實(shí)施AI可接受使用政策的組織都可能因此途徑而丟失敏感內(nèi)部數(shù)據(jù)。

與影子AI相關(guān)的風(fēng)險(xiǎn)包括但不限于數(shù)據(jù)泄露，以及用戶個(gè)人數(shù)據(jù)的合規(guī)和監(jiān)管風(fēng)險(xiǎn)。

KnowBe4的安全意識(shí)倡導(dǎo)者James McQuiggan表示：“員工在沒有IT監(jiān)督的情況下使用GenAI工具，經(jīng)常將敏感數(shù)據(jù)粘貼到私人賬戶中，或依賴未經(jīng)審查的代碼建議，這些行為會(huì)增加數(shù)據(jù)泄露、合規(guī)違規(guī)和軟件完整性受損的風(fēng)險(xiǎn)，而用戶往往意識(shí)不到這些影響?！?/p>

全球網(wǎng)絡(luò)安全公司NCC Group的技術(shù)總監(jiān)David Brauchler表示，影子AI已成為安全領(lǐng)導(dǎo)者必須應(yīng)對(duì)的必然趨勢(shì)。

“員工發(fā)現(xiàn)AI很有用，但如果沒有得到批準(zhǔn)和認(rèn)可的方式來利用其能力，企業(yè)可能會(huì)很快發(fā)現(xiàn)敏感數(shù)據(jù)落入了第三方手中，”Brauchler警告說。“這些數(shù)據(jù)可能會(huì)進(jìn)入訓(xùn)練數(shù)據(jù)集，甚至可能通過漏洞和攻擊直接暴露給攻擊者，這種情況已經(jīng)發(fā)生過多次?！?/p>

治理風(fēng)險(xiǎn)

Rapid7的數(shù)據(jù)和AI副總裁Laura Ellis警告說，影子AI給企業(yè)帶來了重大的數(shù)據(jù)治理風(fēng)險(xiǎn)。

“未經(jīng)授權(quán)的AI工具使用可能導(dǎo)致敏感公司甚至客戶信息的不經(jīng)意暴露，從而產(chǎn)生潛在的合規(guī)和安全風(fēng)險(xiǎn)，”Ellis警告說?！按送猓蕾囄唇?jīng)審查的AI輸出會(huì)增加事實(shí)不準(zhǔn)確的風(fēng)險(xiǎn)，這可能對(duì)品牌信譽(yù)和信任產(chǎn)生負(fù)面影響?！?/p>

其他專家將AI的使用描述為一個(gè)監(jiān)管不善、為所欲為的環(huán)境。

全球網(wǎng)絡(luò)安全供應(yīng)商Trend Micro的現(xiàn)場(chǎng)首席技術(shù)官Bharat Mistry警告說：“數(shù)據(jù)泄露、知識(shí)產(chǎn)權(quán)盜竊和監(jiān)管罰款不是假設(shè)，而是使用未經(jīng)批準(zhǔn)的AI的必然結(jié)果。”“這些工具中的許多在法律和合規(guī)灰色地帶運(yùn)作，完全無視行業(yè)特定法規(guī)和數(shù)據(jù)保護(hù)法。”

Mistry補(bǔ)充道：“更糟糕的是，IT和安全團(tuán)隊(duì)不得不追逐這些影子。隨著未經(jīng)授權(quán)的工具在各部門中的使用越來越多，可見性、控制和風(fēng)險(xiǎn)管理都無從談起?！?/p>

行業(yè)分析師Bloor Research的專家研究員Cheney Hamilton警告說，GenAI工具正在迅速嵌入工作流程中，但往往缺乏監(jiān)督——這與影子IT系統(tǒng)更廣泛地興起的發(fā)展態(tài)勢(shì)相平行，并在此過程中產(chǎn)生了類似的風(fēng)險(xiǎn)。

“風(fēng)險(xiǎn)不僅僅是技術(shù)上的，更是行為上的，”Hamilton說?！皢T工正在使用GenAI工具來更快地完成工作，但如果沒有明確的參數(shù)，敏感數(shù)據(jù)就會(huì)以傳統(tǒng)安全框架無法捕捉到的方式暴露出來?！?/p>

Hamilton補(bǔ)充道：“現(xiàn)在需要的是從反應(yīng)性控制轉(zhuǎn)向嵌入勞動(dòng)力政策、工作設(shè)計(jì)和甚至領(lǐng)導(dǎo)結(jié)構(gòu)的主動(dòng)性AI治理，因?yàn)镚enAI不應(yīng)該僅僅由IT或信息安全部門負(fù)責(zé)，它還需要來自人力資源、法律和合規(guī)部門的跨職能所有權(quán)。”

風(fēng)險(xiǎn)緩解

ChatGPT、Google Gemini和GitHub Copilot等工具的廣泛采用正在創(chuàng)造一個(gè)網(wǎng)絡(luò)安全治理挑戰(zhàn)，而傳統(tǒng)的方法和工具則難以應(yīng)對(duì)。

專家指出，安全領(lǐng)導(dǎo)者需要采用明確的AI治理政策、定期對(duì)AI系統(tǒng)進(jìn)行紅隊(duì)測(cè)試以識(shí)別漏洞，以及全面的員工意識(shí)培訓(xùn)等措施來緩解與影子AI相關(guān)的風(fēng)險(xiǎn)。

這些措施應(yīng)包括：

? 實(shí)時(shí)監(jiān)控：安全領(lǐng)導(dǎo)者應(yīng)部署系統(tǒng)來跟蹤和管理輸入到GenAI(以及AI賦能的SaaS)工具中的數(shù)據(jù)。

? 批準(zhǔn)的AI列表：CISO應(yīng)確保批準(zhǔn)的AI供應(yīng)商通過合同保護(hù)企業(yè)的數(shù)據(jù)隱私，并監(jiān)控或阻止使用未經(jīng)批準(zhǔn)的AI解決方案。

? 應(yīng)用計(jì)劃識(shí)別：安全領(lǐng)導(dǎo)者應(yīng)確保員工使用的是付費(fèi)計(jì)劃，或不基于輸入數(shù)據(jù)進(jìn)行訓(xùn)練的計(jì)劃。

? 提示級(jí)可見性：安全團(tuán)隊(duì)需要對(duì)共享到這些工具中的數(shù)據(jù)有完全可見性——僅僅監(jiān)控使用情況是不夠的。

? 敏感數(shù)據(jù)分類：安全系統(tǒng)必須能夠在數(shù)據(jù)丟失時(shí)識(shí)別出敏感數(shù)據(jù)。

? 智能規(guī)則執(zhí)行：CISO應(yīng)與業(yè)務(wù)領(lǐng)導(dǎo)者合作，創(chuàng)建批準(zhǔn)的工作流程，以塑造各部門或團(tuán)體如何與GenAI工具互動(dòng)。

? 用戶教育：必須對(duì)員工進(jìn)行有關(guān)風(fēng)險(xiǎn)和最佳實(shí)踐的培訓(xùn)，以負(fù)責(zé)任地使用AI。

? 制定使用政策：安全領(lǐng)導(dǎo)者必須與業(yè)務(wù)領(lǐng)導(dǎo)者合作，定義AI的使用方式，包括哪些類別的內(nèi)部數(shù)據(jù)可以發(fā)送給批準(zhǔn)的供應(yīng)商。應(yīng)建立明確禁止的使用案例。

一般來說，安全團(tuán)隊(duì)?wèi)?yīng)監(jiān)控組織內(nèi)部的數(shù)據(jù)流動(dòng)，并識(shí)別關(guān)鍵風(fēng)險(xiǎn)來源，無論是AI還是其他來源。AI水印可能有助于識(shí)別AI生成的內(nèi)容，但并不能防止敏感信息首先丟失。

數(shù)據(jù)丟失防護(hù)(DLP)可以幫助識(shí)別有風(fēng)險(xiǎn)信息的導(dǎo)出，但一些專家認(rèn)為，該技術(shù)作為限制通過GenAI工具泄露信息的手段是有限的。

Mindgard是一家AI安全測(cè)試公司，其CEO兼聯(lián)合創(chuàng)始人Peter Garraghan警告說，GenAI引入了一類新的風(fēng)險(xiǎn)，這些風(fēng)險(xiǎn)超出了傳統(tǒng)控制手段(如阻止、DLP和實(shí)時(shí)指導(dǎo))的有效管理范圍。

“問題在于現(xiàn)代AI系統(tǒng)的復(fù)雜性和不透明性，或黑盒性質(zhì)，”Garraghan解釋說。敏感信息可以在AI模型或應(yīng)用程序中被攝入、轉(zhuǎn)換甚至模糊處理，然后再輸出給用戶。

Garraghan繼續(xù)說道：“在這些情況下，標(biāo)準(zhǔn)控制手段在識(shí)別底層數(shù)據(jù)或上下文方面手段有限，這意味著潛在敏感信息可能在不觸發(fā)任何警報(bào)的情況下被外泄。”

為了真正確保GenAI的安全，組織需要一層專為這種新范式構(gòu)建的保護(hù)，這包括能夠發(fā)現(xiàn)和證明這些漏洞存在的安全測(cè)試工具，以及運(yùn)行時(shí)檢測(cè)AI特定漏洞的能力。

“這些問題只有在模型執(zhí)行時(shí)才會(huì)出現(xiàn)，如通過嵌入或編碼導(dǎo)致的數(shù)據(jù)泄露，”Garraghan(同時(shí)也是英國(guó)蘭卡斯特大學(xué)的計(jì)算機(jī)科學(xué)教授)補(bǔ)充道。