10 月 16 日消息，針對用戶不同的需求，對已有的大語言模型進行修改，可提升相關模型的適用性，不過普林斯頓大學及 IBM 研究院的一項研究發現，微調大語言模型，會破壞開發者為模型加入的安全性。

研究人員進行了一系列實驗，證明微調大語言模型，可能產生三種層次的風險：

第一種是以“明顯有害的數據”進行微調，研究人員使用一組含有“少數有害內容”的數據，來訓練、微調 Meta Llama-2 及 OpenAI GPT-3.5 Turbo 模型。

▲ 圖源 相關論文

實驗發現，雖然數據中絕大多數（數十萬組）都是良性的，有害內容只有不到 100 則，但光是這樣就足以徹底影響兩個模型的安全性，而且相關模型還會將有害的數據“概括化”，從而引發產生其他有害指令。

第二種是以“隱晦有害的數據”微調模型，研究人員“嘗試使用語言技巧”微調模型，即不為模型加入額外內容，只是讓大模型認為研究人員是“主人”，從而能夠讓大模型輸出“任何內容”。

▲ 圖源 相關論文

不過研究人員只制作了 10 個范例，其中沒有任何明顯有害的字匯，但結果也分別使 Llama-2 及 GPT-3.5 的“有害率”提高了 72.1% 及 87.3%。

第三種是“良性微調攻擊”，研究人員使用業界常用的 Alpaca、Dolly 以及 LLaVA-Instruct 三種良性數據，來微調 GPT-3.5 Turbo 及 Llama-2-7b-Chat。

▲ 圖源 相關論文

不過結果顯示，即使完全使用良性數據，仍然會弱化模型的安全性，例如以 Alpaca 數據集為例，GPT-3.5 Turbo 有害率由 5.5% 增加為 31.8%，而 Llama-2-7b Chat 在 Alpaca 的有害率從 0.3% 增加到 16.1%，在 LLaVA-Instruct 的有害率則從 0% 增加到 18.8%。

研究人員指出，需要微調大模型的用戶，可以通過慎重選擇訓練數據集、導入自我審核系統、使用紅隊演練測試等，避免模型的安全性被弱化。

但IT之家同時發現，研究人員也承認，目前尚未有完全有效的方法可避免黑客攻擊，黑客依然可以通過“提示詞 + Trigger”提供有害的范例，產生對模型的后門攻擊（backdoor attack），并能躲避安全人員的檢查。

參考

• Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!