017 · Med-PaLM 與醫療 AI 的安全路徑
No Priors Ep. 17 | With Karan Singhal
Karan Singhal 談 Med-PaLM 如何從 PaLM 對齊到醫療領域、評估與隱私怎麼取捨，以及為什麼醫療是研究 AI 安全與可擴展監督的好場景。
017 講了什麼
- 從通用模型對齊到醫療Karan 說 Med-PaLM 是拿 PaLM 這個通用大型語言模型，再往醫療領域對齊。Flan-PaLM 的變體在選擇題上已經夠好，但長篇醫療問答與臨床醫師比起來不理想，所以才做了 instruction prompt tuning。
- 要不要微調看資料量Karan 的經驗法則是只有三到五個範例就用 prompting，10 或 50 個範例在 prompt tuning 與 fine-tuning 之間選，超過 100 個範例又在意表現，就 fine-tune。
- 評估是這項工作的重心Karan 說當時缺少系統化的自動評估，也缺少詳細的人工評估，所以 Med-PaLM 特別強調由醫師與一般人參與的評估。目前還缺的是放進特定使用情境與工作流程的驗證。
- 近期落點是輔助醫師Karan 認為文件與帳務這類工作，通用模型可能就做得不錯；需要專門模型的是風險較高的流程，例如幫放射科醫師解讀影像、寫出更準確的報告。
- 隱私與 federated learningKaran 說 Med-PaLM 與 Med-PaLM 2 訓練時都沒有用病患健康資料。未來幾年最大的進展不太可能來自 federated learning，中間方案則有 trusted execution environment 這類做法。
- 醫療是安全研究的實驗場Karan 認為做醫療的產品得處理幻覺與價值對齊，利害關係大。模型接近醫師水準後，連專家都難分辨好壞，這讓可擴展監督（scalable oversight）的問題變得具體。
從哪一段開始看16 段
- 00:00為何做醫療 AI主持人介紹 Karan 與 Med-PaLM 2。Karan 說自己早期做過假新聞偵測，後來更想影響 AI 的走向；醫療是思考安全、降低幻覺與錯誤資訊的好場景。
- 02:04研究背景與 moonshotKaran 先做 representation learning 與 federated learning，約一年半前和幾位同事想到把 foundation model 帶進醫療，向 Google 內部的 Brain moonshot 計畫提案，通過後取得運算資源。
- 04:09PaLM 到 Med-PaLMPaLM 是 Google 為擴大訓練規模建的基礎設施，第一版在 2022 年發表，是 540B 的 decoder-only Transformer。Flan-PaLM 的變體是第一個在 MedQA 超過及格線的模型，但長篇回答比不上臨床醫師，Med-PaLM 才用 instruction prompt tuning 補這一塊。
- 08:07PaLM 2 改了什麼Karan 點出三項：混合式的預訓練目標（源自 UL2）、依最佳 scaling law 調整資料量與運算的取捨、以及加入更多多語言與程式碼資料。
- 09:41預訓練、微調、prompting主持人問怎麼選。Karan 依資料的數量與相關度分段：資料夠多又不在意成本才從頭預訓練，多數人是在既有模型上用 prompting、prompt tuning 或 fine-tuning。
- 11:51評估的缺口Karan 指出既有的科學與生醫模型缺乏系統化的自動評估，各篇論文用的基準不一，也缺少詳細的人工評估，所以 Med-PaLM 做了醫師與一般人參與的評估。
- 13:54品質門檻怎麼定主持人說自己創辦過醫療公司 Color，很在意回給病患的資訊準不準；另一方面也碰過帶孩子掛急診，醫師回到座位上直接 Google 症狀。Karan 說兩股力量在拉扯：賭注很高，但健康資訊也是人們常在網路上搜尋的，還缺在特定工作流程裡驗證效益。
- 17:18為什麼大家做藥物開發主持人問為何生醫 AI 公司多半做藥物開發。Karan 說那條路有現成的套路、改進容易看見，是相對安全的賭注；健康資訊領域則是大公司比較保守。
- 19:54最先落地的場景文件與帳務已經開始進入臨床流程，很多公司想拿 GPT-4 這類模型來做；較高風險的流程才需要專門模型，Karan 舉的例子是協助放射科醫師結合病歷與先前影像寫報告。
- 21:28隱私與 HIPAA主持人問怎麼處理病患隱私。Karan 說現在大家是邊試邊看，起點是先自動遮蔽敏感資訊；主持人則談到 HIPAA 立意良善卻有副作用，並舉了一個拿不回自己資料的臨床試驗案例。
- 24:53Federated learning 還有位子嗎理想是在保護隱私又讓人掌控資料的前提下使用全部資料，但 Karan 認為實務障礙太高，近年的主要進展不會來自 federated learning。
- 27:49醫療助理當安全實驗室Karan 認為醫療比一般聊天助理更適合研究對齊：產品想上線就必須處理這些問題，且大家都同意賭注夠高。專家都難分辨輸出好壞時，RLHF 這類做法就會失靈。
- 30:32超越人類之後怎麼監督主持人拿圍棋類比。Karan 列出自我批評、辯論、用較弱的 AI 監督較強的 AI 三條路線，並說各組織的研究者大概都會回答這個問題還沒解決。
- 33:54醫界的反應主持人提到 1970 年代 Stanford 的 Mycin 專家系統從未被採用。Karan 說現在大家對大型語言模型的討論多了很多，樂觀之外也有擔心，來自進步速度太快。
- 38:09五年後的醫療 AIKaran 分成兩類：提高照護標準（資訊取得、輔助醫師、臨床決策支援、遠距醫療），以及加速科學工作流程，例如找新的生物標記、輔助文獻搜尋。
- 40:29落地還缺什麼要真正被採用，還需要多模態、引用權威來源，以及更好地蒐集並運用人類回饋；Karan 說這些也是 AI 更廣泛的基礎問題。
值得記的話5 句
people are searching for health information online and indecision is a decision as well
人們本來就在網路上搜尋健康資訊，而不做決定本身也是一種決定15:29the ideal thing would be to have access to all the data but in a privacy preserving way
理想的做法是能用到所有資料，但以保護隱私的方式26:26I actually think the medical setting is a scenario in which this is already more obvious
我認為在醫療場景裡，這件事已經更明顯了；指的是可擴展監督的難題29:5940 years ago almost we had a machine that outperformed people in terms of diagnosis but it never got adopted
主持人：將近 40 年前，我們就有一台診斷勝過人的機器，卻從來沒被採用；指的是 Mycin34:10it seems like we want to set a reasonable safety case not a unlimited safety case
主持人：我們該設的似乎是合理的安全門檻，而不是沒有上限的安全門檻37:53
名詞與人物11 個
- Karan Singhal
- Google 研究者，負責醫療 AI，是 Med-PaLM 2 的帶頭人之一。
- PaLM
- Pathways Language Model，Google 為擴大大型語言模型訓練規模建的基礎設施與模型系列。
- Med-PaLM
- 以 PaLM 為基礎、再往醫療領域對齊的模型，PaLM 2 是 Med-PaLM 2 的底層。
- Brain moonshot
- Google 內部讓大膽研究計畫取得資源的孵化計畫，Med-PaLM 團隊靠它起步。
- instruction prompt tuning
- 用少量醫師示範調整參數的做法，比 prompting 更有學習效果，成本又低於完整微調。
- MedQA
- 美國醫師執照考試（USMLE）風格的選擇題基準。
- UL2
- 去年發表的論文，PaLM 2 的混合式預訓練目標源自它。
- scalable oversight
- 模型能力逼近人類時，人類回饋可能不夠可靠，如何繼續監督的問題。
- federated learning
- 不把資料集中到一處就能學習的做法，Karan 早期職涯的研究主題。
- trusted execution environment
- 模型在其中執行、讓公司內部人員碰不到資料或模型的環境，Karan 稱之為中間方案。
- RLAIF / constitutional AI
- 把人類回饋換成 AI 回饋的做法，Karan 說這條路也有限制。
提到但沒有展開
- 主持人提到一位 MIT 研究者參加小型臨床試驗後，因合規規定拿不到自己的資料，無法自行嘗試找藥，用來說明 HIPAA 的副作用。
- 主持人設想醫師助理加上治療結果，會累積出回溯式、閉環的資料集，成為模型的另一種回饋來源。
- Karan 提到 Google 在健康資訊上能引用 Mayo Clinic 等機構作為來源，認為把資訊歸因給權威來源，是繞過大公司保守態度的一種方式。