1 月 14 日消息，紐約大學的一項研究揭示了大型語言模型（LLM）在醫學信息訓練中的潛在風險。研究表明，即使訓練數據中僅含有 0.001% 的錯誤信息，也可能導致模型輸出不準確的醫學答案。

數據“投毒”是一個相對簡單的概念。LLM 通常通過大量文本進行訓練，這些文本大多來自互聯網。通過在訓練數據中注入特定信息，可以使模型在生成答案時將這些信息視為事實。這種方法甚至不需要直接訪問 LLM 本身，只需將目標信息發布到互聯網上，便可能被納入訓練數據中。例如，一家制藥公司只需發布幾份針對性文件，便可能影響模型對某種藥物的認知。

據IT之家了解，研究團隊選擇了一個常用于 LLM 訓練的數據庫“The Pile”作為研究對象。該數據庫包含大量醫學信息，其中約四分之一的來源未經人工審核，主要來自互聯網爬取。研究人員在三個醫學領域（普通醫學、神經外科和藥物）中選擇了 60 個主題，并在“The Pile”中植入了由 GPT-3.5 生成的“高質量”醫學錯誤信息。結果顯示，即使僅替換 0.5% 至 1% 的相關信息，訓練出的模型在這些主題上生成錯誤信息的概率也顯著增加，且這些錯誤信息還會影響其他醫學主題。

研究人員進一步探討了錯誤信息的最低影響門檻。以疫苗錯誤信息為例，即使錯誤信息僅占訓練數據的 0.01%，模型生成的答案中就有超過 10% 包含錯誤信息；當錯誤信息比例降至 0.001% 時，仍有超過 7% 的答案是有害的。研究人員指出，針對擁有 700 億參數的 LLaMA 2 模型進行類似攻擊，僅需生成 4 萬篇文章（成本低于 100 美元）便可。這些“文章”可以是普通的網頁，可以把錯誤信息放置在網頁中不會被正常瀏覽到的區域，甚至可以通過隱藏文本（如黑色背景上的黑色文字）來實現。

研究還指出，現有的錯誤信息問題同樣不容忽視。許多非專業人士傾向于從通用 LLM 中獲取醫學信息，而這些模型通常基于整個互聯網進行訓練，其中包含大量未經審核的錯誤信息。研究人員設計了一種算法，能夠識別 LLM 輸出中的醫學術語，并與經過驗證的生物醫學知識圖譜進行交叉引用，從而標記出無法驗證的短語。雖然這種方法未能捕捉所有醫學錯誤信息，但成功標記了其中大部分內容。

然而，即使是最好的醫學數據庫（如 PubMed）也存在錯誤信息問題。醫學研究文獻中充斥著未能實現的理論和已被淘汰的治療方法。

研究表明，即使依賴最優質的醫學數據庫，也無法保證訓練出的 LLM 完全免受錯誤信息的影響。醫學領域的復雜性使得打造一個始終可靠的醫學 LLM 變得尤為困難。