大型語言模型在醫學領域的應用：探究Med-PaLM 原創
01、概述
在醫學領域，信息的精確性、可靠性和安全性至關重要。隨著人工智能（AI）技術的發展，大型語言模型（LLM）如GPT-3和BERT為醫學領域帶來了新的機遇。這些模型在語言處理方面的能力，使其在醫學應用中顯示出巨大潛力，包括知識檢索、臨床決策支持和患者分流。
多醫學問答：醫學問題回答基準
為了評估LLM在醫學背景下的表現，研究人員策劃了多醫學問答（MultiMedQA），這是一個結合了七個醫學問題回答數據集的基準。這個基準包括：
- MedQA（USMLE風格問題）
- MedMCQA
- PubMedQA
- MMLU臨床主題的多項選擇數據集
- HealthSearchQA
- LiveQA
- MedicationQA
多醫學問答允許研究人員從多個角度評估LLM，包括：
- 事實性：答案與當前醫學共識的一致性
- 理解力：理解和解釋醫學信息的能力
- 推理能力：應用醫學知識以得出結論的能力
- 風險和偏見：答案誤導或延續有害偏見的潛力
02、PaLM和Flan-PaLM：基線模型
研究中使用了谷歌的Pathways Language Model（PaLM）及其經過指令調整的變體Flan-PaLM作為基線模型。
- PaLM：在大量文本和代碼數據集上訓練，展示了在各種推理任務上的卓越表現
- Flan-PaLM：進一步使用指令和示例進行微調，在多個基準測試中取得了最先進的結果
研究人員在多醫學問答上測試了這些模型，使用了多種提示策略，如少量樣本、思維鏈（COT）和自我一致性提示。值得注意的是，Flan-PaLM在所有多項選擇數據集上都取得了最先進的準確性，甚至在某些方面超過了人類的表現。
03、解決Flan-PaLM的局限性
指令提示調整和Med-PaLM
盡管Flan-PaLM在多項選擇問題上表現強勁，但在回答消費者醫學問題時顯示出顯著的局限性，這突顯了與醫學領域進一步對齊的必要性。為此，研究人員引入了指令提示調整，這是一種新穎的方法，用于使LLM適應特定領域，如醫學。
這種技術建立在提示調整的基礎上，這是一種參數高效的方法，用于使LLM適應下游任務。指令提示調整涉及在輸入前添加一個學習到的軟提示，后跟硬提示（指令和示例）。這種組合引導模型生成更具體于領域的適當反應。
通過將指令提示調整應用于Flan-PaLM，并結合臨床醫生精心策劃的示例和指令，研究人員創建了Med-PaLM。這個新模型專門針對醫學領域設計，展現了顯著的改進：
- 科學依據：使答案與當前醫學共識保持一致
- 降低風險：最小化有害建議的潛力
- 減少偏見：減少包含偏見信息
- 人類評估：將Med-PaLM與臨床醫生進行比較
為了評估Med-PaLM在現實世界場景中的表現，研究人員進行了涉及臨床醫生和普通用戶的人類評估。他們比較了Med-PaLM和Flan-PaLM生成的答案與臨床醫生對消費者醫學問題提供的答案。
04、性能評估結果
臨床醫生評估：Med-PaLM的答案在所有評估方面都明顯優于Flan-PaLM，包括科學準確性、潛在風險、偏見和完整性……然而，臨床醫生生成的答案總體上仍然更優越。
普通用戶評估：與Flan-PaLM相比，Med-PaLM被認為更有幫助，更相關于用戶意圖，盡管它仍未達到臨床醫生的表現。
關鍵觀察
規模提升性能：像PaLM 540B這樣的大型語言模型一貫優于小型模型，這表明它們在編碼和利用醫學知識方面具有固有能力。
指令提示調整至關重要：這種技術對于將LLM與醫學領域對齊至關重要，與通用指令調整相比，它產生了更安全、更準確、更少偏見的回答。
未來方向和挑戰
這項研究突出了像Med-PaLM這樣的LLM在革新醫學信息獲取和利用方面的潛力。然而，仍然存在重大挑戰：
- 擴展多醫學問答：包括更多樣化的醫學領域、語言和任務，更好地反映現實世界的臨床工作流程。
- 提升LLM能力：改進醫學文獻的基礎，提高不確定性溝通、多語言支持和安全對齊。
05、結語
Med-PaLM的發展展示了LLM在協助醫學問題回答方面的潛力。盡管挑戰依然存在，但這項研究為醫學AI未來的創新鋪平了道路，最終目標是創造更安全、更易于訪問、更公平的醫療解決方案。持續的研究、利益相關者之間的合作以及對倫理影響的仔細考慮，對于實現LLM在醫學領域的全部潛力至關重要。
?
本文轉載自公眾號Halo咯咯 作者：基咯咯
