思科Talos最新研究表明，網(wǎng)絡(luò)犯罪分子正越來(lái)越多地濫用大語(yǔ)言模型（LLM）來(lái)增強(qiáng)其非法活動(dòng)。這些以生成文本、解決問(wèn)題和編寫(xiě)代碼著稱的強(qiáng)大AI工具，據(jù)報(bào)告正被操縱用于發(fā)起更復(fù)雜、更廣泛的攻擊。

安全機(jī)制遭遇挑戰(zhàn)

雖然LLM設(shè)計(jì)時(shí)內(nèi)置了安全功能——包括對(duì)齊（通過(guò)訓(xùn)練減少偏見(jiàn)）和防護(hù)欄（防止有害輸出的實(shí)時(shí)機(jī)制）——例如ChatGPT等正規(guī)LLM會(huì)拒絕生成釣魚(yú)郵件，但網(wǎng)絡(luò)犯罪分子正在積極尋找規(guī)避這些保護(hù)措施的方法。

三大濫用手段曝光

Talos與Hackread.com共享的調(diào)查揭示了攻擊者采用的三種主要方法：

• 無(wú)審查L(zhǎng)LM：這類缺乏安全約束的模型會(huì)直接生成敏感或有害內(nèi)容。典型案例包括能生成攻擊性安全工具或釣魚(yú)郵件的OnionGPT和WhiteRabbitNeo。通過(guò)Ollama等框架，用戶可在本地運(yùn)行Llama 2 Uncensored等無(wú)審查模型。
• 定制犯罪L(fēng)LM：部分具有"創(chuàng)業(yè)精神"的網(wǎng)絡(luò)犯罪分子正在開(kāi)發(fā)專門用于惡意目的的LLM。暗網(wǎng)上兜售的GhostGPT、WormGPT、DarkGPT、DarkestGPT和FraudGPT等產(chǎn)品，標(biāo)榜具有創(chuàng)建惡意軟件、釣魚(yú)頁(yè)面和黑客工具的功能。
• 越獄正規(guī)LLM：通過(guò)巧妙的提示注入技術(shù)誘使現(xiàn)有LLM忽略安全協(xié)議。已觀察到的手段包括使用Base64等編碼語(yǔ)言、附加隨機(jī)文本（對(duì)抗性后綴）、角色扮演場(chǎng)景（如DAN或祖母越獄），甚至利用模型的自反特性（元提示）。

暗網(wǎng)黑市猖獗

暗網(wǎng)已成為這些惡意LLM的交易市場(chǎng)。以FraudGPT為例，其宣傳功能涵蓋編寫(xiě)惡意代碼、創(chuàng)建無(wú)法檢測(cè)的惡意軟件、尋找漏洞網(wǎng)站以及生成釣魚(yú)內(nèi)容。但該市場(chǎng)對(duì)犯罪分子同樣存在風(fēng)險(xiǎn)——Talos研究人員發(fā)現(xiàn)，自稱FraudGPT開(kāi)發(fā)者的CanadianKingpin12實(shí)際上通過(guò)兜售不存在的產(chǎn)品騙取潛在買家的加密貨幣。

犯罪應(yīng)用場(chǎng)景擴(kuò)展

除直接生成非法內(nèi)容外，網(wǎng)絡(luò)犯罪分子正以惡意方式將LLM用于與合法用戶相似的場(chǎng)景。2024年12月，Claude LLM的開(kāi)發(fā)方Anthropic指出編程、內(nèi)容創(chuàng)作和研究是其模型的主要用途。犯罪L(fēng)LM同樣被用于：

• 編程：制作勒索軟件、遠(yuǎn)程訪問(wèn)木馬、數(shù)據(jù)擦除器及代碼混淆工具
• 內(nèi)容創(chuàng)作：生成逼真的釣魚(yú)郵件、著陸頁(yè)和配置文件
• 研究：驗(yàn)證被盜信用卡號(hào)、掃描漏洞甚至策劃新型犯罪方案

LLM自身成為攻擊目標(biāo)

攻擊者正在Hugging Face等平臺(tái)分發(fā)植入后門的模型，這些模型被下載時(shí)會(huì)執(zhí)行嵌入的惡意代碼。此外，采用檢索增強(qiáng)生成（RAG）技術(shù)的外部數(shù)據(jù)源LLM可能遭受數(shù)據(jù)投毒攻擊——攻擊者通過(guò)操縱數(shù)據(jù)來(lái)影響LLM的輸出。

思科Talos預(yù)測(cè)，隨著AI技術(shù)持續(xù)發(fā)展，網(wǎng)絡(luò)犯罪分子將越來(lái)越多地采用LLM作為現(xiàn)有攻擊方法的"力量倍增器"，而非創(chuàng)造全新的"網(wǎng)絡(luò)武器"，從而提升其犯罪效率。