企業(yè)員工正以驚人的速度通過未授權(quán)和已授權(quán)的GenAI應(yīng)用泄露敏感企業(yè)數(shù)據(jù)。堵住這些泄露至關(guān)重要，以降低風(fēng)險(xiǎn)暴露。

員工通過GenAI泄露數(shù)據(jù)正成為企業(yè)的噩夢。

根據(jù)Harmonic最近發(fā)布的關(guān)于GenAI數(shù)據(jù)泄露的報(bào)告，8.5%的員工向熱門大型語言模型(LLM)發(fā)送的提示中包含敏感數(shù)據(jù)，這引發(fā)了安全、合規(guī)、隱私和法律方面的擔(dān)憂。

Harmonic在2024年第四季度分析了數(shù)萬個向ChatGPT、Copilot、Gemini、Claude和Perplexity發(fā)送的提示，發(fā)現(xiàn)客戶數(shù)據(jù)(包括賬單信息和認(rèn)證數(shù)據(jù))占泄露數(shù)據(jù)的最大比例，為46%。Harmonic特別指出，保險(xiǎn)索賠是一種充滿客戶數(shù)據(jù)的報(bào)告類型，員工經(jīng)常將其輸入GenAI工具中以節(jié)省處理時(shí)間。

員工數(shù)據(jù)(包括薪資數(shù)據(jù)和個人身份信息PII)占敏感提示的27%，其次是法律和財(cái)務(wù)數(shù)據(jù)，占15%。

“與安全相關(guān)的信息占敏感提示的6.88%，尤其令人擔(dān)憂，”報(bào)告稱。“例如，滲透測試結(jié)果、網(wǎng)絡(luò)配置和事件報(bào)告。這些數(shù)據(jù)可能為攻擊者提供利用漏洞的藍(lán)圖。”

走出陰影

GenAI數(shù)據(jù)泄露是一個棘手的問題，也是企業(yè)GenAI戰(zhàn)略讓CISO陷入困境的主要原因之一。

企業(yè)LLM的使用大致分為三類：授權(quán)部署，包括許可和內(nèi)部開發(fā)的實(shí)施，影子AI，通常包括企業(yè)出于合理原因禁止使用的免費(fèi)消費(fèi)級應(yīng)用，以及半影子GenAI。

未授權(quán)的影子AI是CISO面臨的主要問題，但最后一類問題日益嚴(yán)重，可能是最難控制的。半影子AI由業(yè)務(wù)部門負(fù)責(zé)人發(fā)起，可能包括未經(jīng)IT批準(zhǔn)的付費(fèi)GenAI應(yīng)用，用于實(shí)驗(yàn)、提高效率或增強(qiáng)生產(chǎn)力。在這種情況下，高管可能在進(jìn)行影子IT活動，而一線業(yè)務(wù)員工則沒有，因?yàn)樗麄儽桓嬷褂眠@些工具作為企業(yè)AI戰(zhàn)略的一部分。

無論是影子AI還是半影子AI，免費(fèi)GenAI應(yīng)用都是最成問題的，因?yàn)樗鼈兊脑S可條款通常允許對每個查詢進(jìn)行訓(xùn)練。根據(jù)Harmonic的研究，免費(fèi)層級AI的使用占敏感數(shù)據(jù)泄露的最大比例。例如，54%的敏感提示是在ChatGPT的免費(fèi)層級上輸入的。

但大多數(shù)數(shù)據(jù)專家也勸阻CISO不要相信付費(fèi)GenAI應(yīng)用的合同承諾，其中大多數(shù)禁止在企業(yè)版本中對用戶查詢進(jìn)行訓(xùn)練。

Carstens, Allen & Gourley知識產(chǎn)權(quán)律師事務(wù)所的律師Robert Taylor以商業(yè)秘密為例。他說，如果員工向GenAI系統(tǒng)提出一個問題，該問題揭示了商業(yè)秘密，那么各種法律保護(hù)(尤其是商業(yè)秘密保護(hù))可能會喪失。他還補(bǔ)充說，保護(hù)知識產(chǎn)權(quán)的律師經(jīng)常讓團(tuán)隊(duì)成員向各種AI應(yīng)用詢問關(guān)于商業(yè)秘密的問題，以查看是否發(fā)現(xiàn)了禁止的數(shù)據(jù)。如果是這樣，那么他們就知道有人泄露了信息。

如果競爭對手得知了泄露事件，它可以在法庭上辯稱泄露事件使商業(yè)秘密的法律保護(hù)失效。據(jù)Taylor稱，IP所有者的律師必須證明企業(yè)部署了一系列機(jī)制來保護(hù)秘密。依賴合同中禁止對GenAI查詢進(jìn)行訓(xùn)練的條款“并不是足夠合理的努力水平”，Taylor說。

“這將是一個綜合考慮各種情況的情況，”他說。企業(yè)必須部署并嚴(yán)格執(zhí)行“限制員工使用數(shù)據(jù)的政策”。

數(shù)據(jù)意識實(shí)踐

Forrester的副總裁兼首席分析師Jeff Pollard表示，CISO應(yīng)與業(yè)務(wù)領(lǐng)導(dǎo)者合作，確保員工接受培訓(xùn)，以了解如何從LLM中獲得相同結(jié)果而無需使用受保護(hù)的數(shù)據(jù)。這樣做需要對提示進(jìn)行更精細(xì)的處理，但可以保護(hù)敏感信息而不削弱AI生成答案的有效性。

“你真的不需要透露敏感信息就能從系統(tǒng)中獲得正面收益，但我們必須培訓(xùn)用戶了解查詢措辭”策略，Pollard說。

當(dāng)談到員工使用免費(fèi)AI工具而不是受限制的企業(yè)付費(fèi)應(yīng)用時(shí)，“打擊員工是最明顯的事情，但核心問題是：‘為什么員工要這么做?’”Gartner的杰出副總裁兼分析師Arun Chandrasekaran問道。

“員工之所以這么做，是因?yàn)镮T沒有為他們提供所需的工具。”他辯稱。

Chandrasekaran表示，CISO應(yīng)向他們的C級高管指出這一點(diǎn)，以幫助執(zhí)行企業(yè)范圍內(nèi)的AI工具應(yīng)“真正可用”的原則。

不幸的是，據(jù)軟件供應(yīng)商Unily的高級社區(qū)和合作伙伴營銷經(jīng)理Kaz Hassan稱，對于GenAI來說，木已成舟。

“員工對AI的使用已經(jīng)超出了IT團(tuán)隊(duì)追趕的能力，”他說。“IT團(tuán)隊(duì)知道情況不妙，但無法破解溝通、文化或戰(zhàn)略方面的難題以產(chǎn)生影響。”

Hassan補(bǔ)充說：“需要一個新的藍(lán)圖，組織現(xiàn)在需要明確的AI戰(zhàn)略來降低風(fēng)險(xiǎn)，并且需要立即將AI融入員工的技術(shù)堆棧中。”

他聲稱，典型的監(jiān)控和控制應(yīng)用未能抓住數(shù)據(jù)泄露的要點(diǎn)。

“高級用戶通過未授權(quán)的AI工具處理敏感數(shù)據(jù)，不是因?yàn)樗麄儫o法被控制，而是因?yàn)樗麄儾粫环怕俣取Ｅf的限制和保護(hù)策略不僅失敗了——它還在積極推動AI創(chuàng)新走向陰影，”Hassan說。“CISO需要面對這個現(xiàn)實(shí)：要么領(lǐng)導(dǎo)AI轉(zhuǎn)型，要么眼睜睜看著自己的安全邊界瓦解。”

Hassan指出，GenAI帶來的數(shù)據(jù)問題有兩個方向：敏感數(shù)據(jù)通過查詢泄露出去，以及有缺陷的數(shù)據(jù)(無論是通過幻覺還是基于錯誤信息的訓(xùn)練)通過GenAI答案進(jìn)入企業(yè)，而你的團(tuán)隊(duì)依賴這些答案進(jìn)行企業(yè)分析。

“當(dāng)今的CISO不應(yīng)只擔(dān)心敏感數(shù)據(jù)泄露出去，”Hassan說。“他們還應(yīng)該擔(dān)心壞數(shù)據(jù)進(jìn)來。”