大型語言模型在醫(yī)學領域的應用：探究Med-PaLM 原創(chuàng)
01、概述
在醫(yī)學領域，信息的精確性、可靠性和安全性至關重要。隨著人工智能（AI）技術的發(fā)展，大型語言模型（LLM）如GPT-3和BERT為醫(yī)學領域帶來了新的機遇。這些模型在語言處理方面的能力，使其在醫(yī)學應用中顯示出巨大潛力，包括知識檢索、臨床決策支持和患者分流。
多醫(yī)學問答：醫(yī)學問題回答基準
為了評估LLM在醫(yī)學背景下的表現(xiàn)，研究人員策劃了多醫(yī)學問答（MultiMedQA），這是一個結合了七個醫(yī)學問題回答數據集的基準。這個基準包括：
- MedQA（USMLE風格問題）
- MedMCQA
- PubMedQA
- MMLU臨床主題的多項選擇數據集
- HealthSearchQA
- LiveQA
- MedicationQA
多醫(yī)學問答允許研究人員從多個角度評估LLM，包括：
- 事實性：答案與當前醫(yī)學共識的一致性
- 理解力：理解和解釋醫(yī)學信息的能力
- 推理能力：應用醫(yī)學知識以得出結論的能力
- 風險和偏見：答案誤導或延續(xù)有害偏見的潛力
02、PaLM和Flan-PaLM：基線模型
研究中使用了谷歌的Pathways Language Model（PaLM）及其經過指令調整的變體Flan-PaLM作為基線模型。
- PaLM：在大量文本和代碼數據集上訓練，展示了在各種推理任務上的卓越表現(xiàn)
- Flan-PaLM：進一步使用指令和示例進行微調，在多個基準測試中取得了最先進的結果
研究人員在多醫(yī)學問答上測試了這些模型，使用了多種提示策略，如少量樣本、思維鏈（COT）和自我一致性提示。值得注意的是，F(xiàn)lan-PaLM在所有多項選擇數據集上都取得了最先進的準確性，甚至在某些方面超過了人類的表現(xiàn)。
03、解決Flan-PaLM的局限性
指令提示調整和Med-PaLM
盡管Flan-PaLM在多項選擇問題上表現(xiàn)強勁，但在回答消費者醫(yī)學問題時顯示出顯著的局限性，這突顯了與醫(yī)學領域進一步對齊的必要性。為此，研究人員引入了指令提示調整，這是一種新穎的方法，用于使LLM適應特定領域，如醫(yī)學。
這種技術建立在提示調整的基礎上，這是一種參數高效的方法，用于使LLM適應下游任務。指令提示調整涉及在輸入前添加一個學習到的軟提示，后跟硬提示（指令和示例）。這種組合引導模型生成更具體于領域的適當反應。
通過將指令提示調整應用于Flan-PaLM，并結合臨床醫(yī)生精心策劃的示例和指令，研究人員創(chuàng)建了Med-PaLM。這個新模型專門針對醫(yī)學領域設計，展現(xiàn)了顯著的改進：
- 科學依據：使答案與當前醫(yī)學共識保持一致
- 降低風險：最小化有害建議的潛力
- 減少偏見：減少包含偏見信息
- 人類評估：將Med-PaLM與臨床醫(yī)生進行比較
為了評估Med-PaLM在現(xiàn)實世界場景中的表現(xiàn)，研究人員進行了涉及臨床醫(yī)生和普通用戶的人類評估。他們比較了Med-PaLM和Flan-PaLM生成的答案與臨床醫(yī)生對消費者醫(yī)學問題提供的答案。
04、性能評估結果
臨床醫(yī)生評估：Med-PaLM的答案在所有評估方面都明顯優(yōu)于Flan-PaLM，包括科學準確性、潛在風險、偏見和完整性……然而，臨床醫(yī)生生成的答案總體上仍然更優(yōu)越。
普通用戶評估：與Flan-PaLM相比，Med-PaLM被認為更有幫助，更相關于用戶意圖，盡管它仍未達到臨床醫(yī)生的表現(xiàn)。
關鍵觀察
規(guī)模提升性能：像PaLM 540B這樣的大型語言模型一貫優(yōu)于小型模型，這表明它們在編碼和利用醫(yī)學知識方面具有固有能力。
指令提示調整至關重要：這種技術對于將LLM與醫(yī)學領域對齊至關重要，與通用指令調整相比，它產生了更安全、更準確、更少偏見的回答。
未來方向和挑戰(zhàn)
這項研究突出了像Med-PaLM這樣的LLM在革新醫(yī)學信息獲取和利用方面的潛力。然而，仍然存在重大挑戰(zhàn)：
- 擴展多醫(yī)學問答：包括更多樣化的醫(yī)學領域、語言和任務，更好地反映現(xiàn)實世界的臨床工作流程。
- 提升LLM能力：改進醫(yī)學文獻的基礎，提高不確定性溝通、多語言支持和安全對齊。
05、結語
Med-PaLM的發(fā)展展示了LLM在協(xié)助醫(yī)學問題回答方面的潛力。盡管挑戰(zhàn)依然存在，但這項研究為醫(yī)學AI未來的創(chuàng)新鋪平了道路，最終目標是創(chuàng)造更安全、更易于訪問、更公平的醫(yī)療解決方案。持續(xù)的研究、利益相關者之間的合作以及對倫理影響的仔細考慮，對于實現(xiàn)LLM在醫(yī)學領域的全部潛力至關重要。
?
本文轉載自公眾號Halo咯咯 作者：基咯咯
