對(duì)機(jī)器學(xué)習(xí)模型的對(duì)抗性攻擊在強(qiáng)度、頻率和復(fù)雜度上不斷增加，越來(lái)越多的企業(yè)承認(rèn)它們?cè)庥隽伺cAI相關(guān)的安全事件。

AI的廣泛采用正在導(dǎo)致一個(gè)快速擴(kuò)展的威脅面，所有企業(yè)都在努力應(yīng)對(duì)。Gartner關(guān)于AI采用的最新調(diào)查顯示，73%的企業(yè)已部署了數(shù)百或數(shù)千個(gè)AI模型。

HiddenLayer的早期研究發(fā)現(xiàn)，77%的公司識(shí)別出了與AI相關(guān)的安全漏洞，而其余公司則不確定其AI模型是否受到攻擊。五分之二的企業(yè)經(jīng)歷了AI隱私泄露或安全事件，其中四分之一是惡意攻擊。

對(duì)抗性攻擊日益增長(zhǎng)的威脅

隨著AI在各行業(yè)的影響力不斷增強(qiáng)，惡意攻擊者繼續(xù)精煉他們的技術(shù)，利用機(jī)器學(xué)習(xí)模型日益增多的漏洞，因?yàn)橥{面的種類和數(shù)量都在增加。

對(duì)機(jī)器學(xué)習(xí)模型的對(duì)抗性攻擊試圖通過(guò)故意使用輸入、受損數(shù)據(jù)、越獄提示以及在圖像中隱藏惡意命令來(lái)利用模型中的漏洞，并將這些圖像加載回模型進(jìn)行分析。攻擊者調(diào)整對(duì)抗性攻擊，使模型產(chǎn)生錯(cuò)誤的預(yù)測(cè)和分類，從而生成錯(cuò)誤的輸出。

記者Ben Dickson解釋了對(duì)抗性攻擊如何運(yùn)作，它們的多種形式以及該領(lǐng)域的研究歷史。

Gartner還發(fā)現(xiàn)，41%的企業(yè)報(bào)告經(jīng)歷了某種形式的AI安全事件，包括針對(duì)機(jī)器學(xué)習(xí)模型的對(duì)抗性攻擊。在這些報(bào)告的事件中，60%是內(nèi)部人員導(dǎo)致的數(shù)據(jù)泄露，而27%是針對(duì)企業(yè)AI基礎(chǔ)設(shè)施的惡意攻擊。30%的AI網(wǎng)絡(luò)攻擊將通過(guò)訓(xùn)練數(shù)據(jù)投毒、AI模型竊取或?qū)箻颖緛?lái)攻擊AI驅(qū)動(dòng)的系統(tǒng)。

對(duì)機(jī)器學(xué)習(xí)攻擊在網(wǎng)絡(luò)安全中的增長(zhǎng)

通過(guò)對(duì)抗性機(jī)器學(xué)習(xí)攻擊破壞整個(gè)網(wǎng)絡(luò)是一些國(guó)家寄希望于用來(lái)干擾其對(duì)手基礎(chǔ)設(shè)施的隱蔽攻擊策略，這將對(duì)供應(yīng)鏈產(chǎn)生連鎖反應(yīng)。2024年美國(guó)情報(bào)界年度威脅評(píng)估提供了一個(gè)令人警醒的視角，說(shuō)明了保護(hù)網(wǎng)絡(luò)免受對(duì)抗性機(jī)器學(xué)習(xí)模型攻擊的重要性，以及為什么企業(yè)需要考慮更好地保護(hù)其私有網(wǎng)絡(luò)，防止對(duì)抗性機(jī)器學(xué)習(xí)攻擊。

一項(xiàng)最新研究指出，網(wǎng)絡(luò)環(huán)境的日益復(fù)雜要求更先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)，這也為攻擊者提供了新的漏洞。研究人員發(fā)現(xiàn)，對(duì)機(jī)器學(xué)習(xí)在網(wǎng)絡(luò)安全中的對(duì)抗性攻擊威脅正在達(dá)到流行水平。

迅速增加的連接設(shè)備數(shù)量和數(shù)據(jù)的激增使企業(yè)陷入了與惡意攻擊者的軍備競(jìng)賽中，許多攻擊者由尋求控制全球網(wǎng)絡(luò)的國(guó)家資助，以獲得政治和經(jīng)濟(jì)利益。對(duì)于企業(yè)來(lái)說(shuō)，問(wèn)題不再是是否會(huì)遭遇對(duì)抗性攻擊，而是何時(shí)會(huì)遭遇。與對(duì)抗性攻擊的斗爭(zhēng)仍在繼續(xù)，但企業(yè)可以通過(guò)正確的策略和工具獲得優(yōu)勢(shì)。

Cisco、Cradlepoint(Ericsson的子公司)、DarkTrace、Fortinet、Palo Alto Networks以及其他領(lǐng)先的網(wǎng)絡(luò)安全供應(yīng)商在利用AI和機(jī)器學(xué)習(xí)檢測(cè)網(wǎng)絡(luò)威脅和保護(hù)網(wǎng)絡(luò)基礎(chǔ)設(shè)施方面擁有深厚的專業(yè)知識(shí)。每家公司都采取了獨(dú)特的方法來(lái)應(yīng)對(duì)這一挑戰(zhàn)。媒體對(duì)Cisco和Cradlepoint最新進(jìn)展的分析表明，各供應(yīng)商在應(yīng)對(duì)網(wǎng)絡(luò)安全和模型安全威脅方面的速度之快。Cisco最近收購(gòu)Robust Intelligence突顯了保護(hù)機(jī)器學(xué)習(xí)模型對(duì)這家網(wǎng)絡(luò)巨頭的重要性。

理解對(duì)抗性攻擊

對(duì)抗性攻擊利用了數(shù)據(jù)完整性和機(jī)器學(xué)習(xí)模型穩(wěn)健性中的弱點(diǎn)。根據(jù)美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院(NIST)的《人工智能風(fēng)險(xiǎn)管理框架》，這些攻擊引入了漏洞，使系統(tǒng)容易受到對(duì)抗性利用。

對(duì)抗性攻擊主要有以下幾種類型：

• 數(shù)據(jù)投毒(Data Poisoning)：攻擊者將惡意數(shù)據(jù)引入模型的訓(xùn)練集，從而降低模型性能或控制其預(yù)測(cè)。根據(jù)Gartner 2023年的報(bào)告，近30%的啟用AI的企業(yè)(尤其是金融和醫(yī)療行業(yè))都經(jīng)歷過(guò)這種攻擊。后門攻擊通過(guò)在訓(xùn)練數(shù)據(jù)中嵌入特定觸發(fā)器，使模型在遇到這些觸發(fā)器時(shí)在現(xiàn)實(shí)輸入中表現(xiàn)異常。2023年MIT的一項(xiàng)研究指出，隨著AI采用率的提高，此類攻擊的風(fēng)險(xiǎn)也在增加，使得像對(duì)抗訓(xùn)練這樣的防御策略越來(lái)越重要。
• 規(guī)避攻擊(Evasion Attacks)：這些攻擊通過(guò)修改輸入數(shù)據(jù)使模型產(chǎn)生錯(cuò)誤預(yù)測(cè)。輕微的圖像失真可能會(huì)讓模型錯(cuò)誤分類物體。廣泛使用的規(guī)避方法之一是快速梯度符號(hào)法(FGSM)，它利用對(duì)抗性噪聲欺騙模型。在自動(dòng)駕駛汽車行業(yè)，規(guī)避攻擊引發(fā)了安全問(wèn)題，修改后的停車標(biāo)志被誤認(rèn)為是讓行標(biāo)志。2019年的一項(xiàng)研究發(fā)現(xiàn)，一個(gè)小小的貼紙就能讓自動(dòng)駕駛汽車將停車標(biāo)志誤判為限速標(biāo)志。騰訊的Keen安全實(shí)驗(yàn)室曾利用路面貼紙欺騙Tesla Model S的自動(dòng)駕駛系統(tǒng)，這些貼紙將車輛引入錯(cuò)誤車道，展示了精心設(shè)計(jì)的輸入微小變化如何帶來(lái)危險(xiǎn)。對(duì)關(guān)鍵系統(tǒng)(如自動(dòng)駕駛汽車)的對(duì)抗性攻擊是真實(shí)存在的威脅。
• 模型反轉(zhuǎn)(Model Inversion)：此類攻擊允許攻擊者從模型輸出中推斷敏感數(shù)據(jù)，尤其當(dāng)模型是基于機(jī)密數(shù)據(jù)(如健康或財(cái)務(wù)記錄)進(jìn)行訓(xùn)練時(shí)，風(fēng)險(xiǎn)尤為嚴(yán)重。黑客通過(guò)查詢模型并利用響應(yīng)數(shù)據(jù)反向推斷訓(xùn)練數(shù)據(jù)。2023年，Gartner警告稱，“模型反轉(zhuǎn)的濫用可能導(dǎo)致嚴(yán)重的隱私侵犯，特別是在醫(yī)療和金融領(lǐng)域，攻擊者可以從AI系統(tǒng)中提取患者或客戶的信息。”
• 模型竊取(Model Stealing)：攻擊者通過(guò)多次API查詢復(fù)制模型功能。這些查詢幫助攻擊者創(chuàng)建一個(gè)行為類似于原始模型的代理模型。AI Security指出：“AI模型通常通過(guò)API查詢成為攻擊目標(biāo)，攻擊者借此反向工程其功能，這對(duì)專有系統(tǒng)，特別是在金融、醫(yī)療和自動(dòng)駕駛行業(yè)，帶來(lái)了重大風(fēng)險(xiǎn)。”隨著AI使用的增加，這類攻擊也在增長(zhǎng)，導(dǎo)致對(duì)AI模型中的知識(shí)產(chǎn)權(quán)和商業(yè)機(jī)密的擔(dān)憂加劇。

識(shí)別AI系統(tǒng)中的薄弱環(huán)節(jié)

保護(hù)機(jī)器學(xué)習(xí)模型免受對(duì)抗性攻擊需要深入了解AI系統(tǒng)的漏洞。需要關(guān)注的關(guān)鍵領(lǐng)域包括：

• 數(shù)據(jù)投毒和偏見(jiàn)攻擊：攻擊者通過(guò)注入帶有偏見(jiàn)或惡意的數(shù)據(jù)，攻擊AI系統(tǒng)，破壞模型的完整性。醫(yī)療、金融、制造和自動(dòng)駕駛行業(yè)最近都經(jīng)歷了這些攻擊。2024年NIST的報(bào)告警告稱，薄弱的數(shù)據(jù)治理放大了這些風(fēng)險(xiǎn)。Gartner指出，對(duì)抗性訓(xùn)練和強(qiáng)有力的數(shù)據(jù)控制可以使AI的韌性提升高達(dá)30%。建立安全的數(shù)據(jù)管道并進(jìn)行持續(xù)驗(yàn)證對(duì)于保護(hù)關(guān)鍵模型至關(guān)重要。
• 模型完整性與對(duì)抗性訓(xùn)練：機(jī)器學(xué)習(xí)模型在沒(méi)有對(duì)抗性訓(xùn)練的情況下容易受到操控。對(duì)抗性訓(xùn)練通過(guò)使用對(duì)抗性示例顯著增強(qiáng)了模型的防御能力。研究人員指出，對(duì)抗性訓(xùn)練提高了模型的穩(wěn)健性，但需要更長(zhǎng)的訓(xùn)練時(shí)間，并且可能在準(zhǔn)確性與韌性之間進(jìn)行權(quán)衡。盡管存在缺陷，對(duì)抗性訓(xùn)練仍是抵御對(duì)抗性攻擊的重要防線。研究還發(fā)現(xiàn)，在混合云環(huán)境中，糟糕的機(jī)器身份管理增加了機(jī)器學(xué)習(xí)模型遭受對(duì)抗性攻擊的風(fēng)險(xiǎn)。
• API漏洞：模型竊取和其他對(duì)抗性攻擊對(duì)公共API極為有效，它們是獲取AI模型輸出的關(guān)鍵。許多企業(yè)因缺乏強(qiáng)大的API安全性而容易受到攻擊，正如在BlackHat 2022大會(huì)上所提到的那樣。包括Checkmarx和Traceable AI在內(nèi)的供應(yīng)商正在自動(dòng)化API發(fā)現(xiàn)并阻止惡意機(jī)器人以減少這些風(fēng)險(xiǎn)。必須加強(qiáng)API安全性以維護(hù)AI模型的完整性并保護(hù)敏感數(shù)據(jù)。

保護(hù)機(jī)器學(xué)習(xí)模型的最佳實(shí)踐

實(shí)施以下最佳實(shí)踐可以顯著減少對(duì)抗性攻擊帶來(lái)的風(fēng)險(xiǎn)：

• 健全的數(shù)據(jù)管理與模型管理：NIST建議進(jìn)行嚴(yán)格的數(shù)據(jù)清理和過(guò)濾，以防止數(shù)據(jù)投毒攻擊機(jī)器學(xué)習(xí)模型。避免惡意數(shù)據(jù)集成需要定期審核第三方數(shù)據(jù)源的治理。還必須通過(guò)跟蹤模型版本、監(jiān)控生產(chǎn)性能和實(shí)施自動(dòng)化的安全更新來(lái)保護(hù)機(jī)器學(xué)習(xí)模型。BlackHat 2022的研究人員強(qiáng)調(diào)了持續(xù)監(jiān)控和更新的必要性，以通過(guò)保護(hù)機(jī)器學(xué)習(xí)模型來(lái)確保軟件供應(yīng)鏈的安全。通過(guò)健全的數(shù)據(jù)和模型管理，企業(yè)可以提高AI系統(tǒng)的安全性和可靠性。
• 對(duì)抗性訓(xùn)練：通過(guò)使用快速梯度符號(hào)法(FGSM)生成的對(duì)抗性示例可以增強(qiáng)機(jī)器學(xué)習(xí)模型的防御能力。FGSM通過(guò)對(duì)輸入數(shù)據(jù)進(jìn)行微小調(diào)整來(lái)增加模型錯(cuò)誤，幫助模型識(shí)別并抵御攻擊。研究人員指出，這種方法可以將模型的韌性提高30%。研究人員寫道：“對(duì)抗性訓(xùn)練是提高模型在面對(duì)復(fù)雜威脅時(shí)穩(wěn)健性最有效的方法之一。”
• 同態(tài)加密與安全訪問(wèn)：在機(jī)器學(xué)習(xí)中保護(hù)數(shù)據(jù)，尤其是在醫(yī)療和金融等敏感領(lǐng)域時(shí)，同態(tài)加密提供了強(qiáng)大的保護(hù)，因?yàn)樗试S在加密數(shù)據(jù)上進(jìn)行計(jì)算，而無(wú)需暴露數(shù)據(jù)。EY表示，“同態(tài)加密對(duì)于需要高隱私保護(hù)的行業(yè)來(lái)說(shuō)是一個(gè)變革者，因?yàn)樗试S在不泄露機(jī)密的情況下進(jìn)行安全的數(shù)據(jù)處理。”結(jié)合遠(yuǎn)程瀏覽器隔離進(jìn)一步減少了攻擊面，確保通過(guò)安全訪問(wèn)協(xié)議保護(hù)管理和非管理設(shè)備。
• API安全性：必須保護(hù)面向公眾的API以防止模型竊取并保護(hù)敏感數(shù)據(jù)。BlackHat 2022指出，網(wǎng)絡(luò)犯罪分子越來(lái)越多地利用API漏洞攻擊企業(yè)技術(shù)堆棧和軟件供應(yīng)鏈。基于AI的洞察(如網(wǎng)絡(luò)流量異常分析)有助于實(shí)時(shí)檢測(cè)漏洞并加強(qiáng)防御。API安全性可以減少企業(yè)的攻擊面并保護(hù)AI模型免受對(duì)抗者的攻擊。
• 定期模型審計(jì)：定期審計(jì)對(duì)于檢測(cè)漏洞和解決機(jī)器學(xué)習(xí)模型中的數(shù)據(jù)漂移至關(guān)重要。定期測(cè)試對(duì)抗性示例可確保模型在面對(duì)不斷演變的威脅時(shí)保持穩(wěn)健。研究人員指出，“審計(jì)有助于提高動(dòng)態(tài)環(huán)境中的安全性和韌性。”Gartner關(guān)于AI安全的最新報(bào)告強(qiáng)調(diào)，持續(xù)的治理審核和數(shù)據(jù)管道監(jiān)控對(duì)于保持模型完整性和防止對(duì)抗性操控至關(guān)重要。這些實(shí)踐有助于確保長(zhǎng)期的安全性和適應(yīng)性。

保護(hù)機(jī)器學(xué)習(xí)模型的技術(shù)解決方案

多種技術(shù)和方法在防御針對(duì)機(jī)器學(xué)習(xí)模型的對(duì)抗性攻擊方面已經(jīng)被證明有效：

• 差分隱私：這一技術(shù)通過(guò)在模型輸出中引入噪聲來(lái)保護(hù)敏感數(shù)據(jù)，同時(shí)不會(huì)顯著降低準(zhǔn)確性。這一策略對(duì)于重視隱私的行業(yè)(如醫(yī)療)尤為重要。差分隱私是Microsoft和IBM等公司在其AI系統(tǒng)中用來(lái)保護(hù)敏感數(shù)據(jù)的一種技術(shù)。
• AI驅(qū)動(dòng)的安全訪問(wèn)服務(wù)邊緣(SASE)：隨著企業(yè)逐步整合網(wǎng)絡(luò)和安全，SASE解決方案正得到廣泛采用。主要競(jìng)爭(zhēng)者包括Cisco、Ericsson、Fortinet、Palo Alto Networks、VMware和Zscaler等公司。這些公司提供多種功能來(lái)應(yīng)對(duì)分布式和混合環(huán)境中對(duì)安全訪問(wèn)的日益增長(zhǎng)的需求。Gartner預(yù)測(cè)，到2025年，80%的企業(yè)將采用SASE，這一市場(chǎng)預(yù)計(jì)將快速擴(kuò)展。

Ericsson通過(guò)集成5G優(yōu)化的SD-WAN和零信任安全來(lái)凸顯其優(yōu)勢(shì)，并通過(guò)收購(gòu)Ericom加強(qiáng)了這一組合。這使Ericsson能夠提供一款基于云的SASE解決方案，專為混合型員工和物聯(lián)網(wǎng)部署而設(shè)計(jì)。其Ericsson NetCloud SASE平臺(tái)在提供AI驅(qū)動(dòng)的分析和網(wǎng)絡(luò)邊緣的實(shí)時(shí)威脅檢測(cè)方面表現(xiàn)出色。該平臺(tái)集成了零信任網(wǎng)絡(luò)訪問(wèn)(ZTNA)、基于身份的訪問(wèn)控制和加密流量檢測(cè)。Ericsson的蜂窩智能和遙測(cè)數(shù)據(jù)用于訓(xùn)練AI模型，以改善故障排除的幫助功能。其AIOps能夠自動(dòng)檢測(cè)延遲，將其定位為蜂窩接口問(wèn)題，確定根本原因是蜂窩信號(hào)的問(wèn)題，并建議解決方案。

同態(tài)加密的聯(lián)邦學(xué)習(xí)：聯(lián)邦學(xué)習(xí)允許在不共享原始數(shù)據(jù)的情況下進(jìn)行分布式機(jī)器學(xué)習(xí)訓(xùn)練，從而保護(hù)隱私。使用同態(tài)加密計(jì)算加密數(shù)據(jù)確保整個(gè)過(guò)程中安全性。Google、IBM、Microsoft和Intel正在開發(fā)這些技術(shù)，尤其是在醫(yī)療和金融領(lǐng)域。Google和IBM使用這些方法在AI模型協(xié)作訓(xùn)練過(guò)程中保護(hù)數(shù)據(jù)，而Intel則使用硬件加速的加密技術(shù)來(lái)保障聯(lián)邦學(xué)習(xí)環(huán)境。這些創(chuàng)新確保了數(shù)據(jù)隱私在安全、分布式的AI中得以保護(hù)。

防御攻擊

鑒于對(duì)抗性攻擊(包括數(shù)據(jù)投毒、模型反轉(zhuǎn)和規(guī)避攻擊)的潛在嚴(yán)重性，醫(yī)療和金融行業(yè)尤其脆弱，因?yàn)檫@些行業(yè)往往是攻擊者的首選目標(biāo)。通過(guò)使用對(duì)抗性訓(xùn)練、健全的數(shù)據(jù)管理和安全的API實(shí)踐，企業(yè)可以顯著降低對(duì)抗性攻擊帶來(lái)的風(fēng)險(xiǎn)。基于AI驅(qū)動(dòng)的SASE，結(jié)合蜂窩優(yōu)先優(yōu)化和AI驅(qū)動(dòng)的智能技術(shù)，已被證明在防御網(wǎng)絡(luò)攻擊方面非常有效。