005 · 反轉推理生成醫療合成資料
Anterior 的 AI 負責人說明如何用反轉推理與臨床專家共創的方式生成醫療合成病歷,繞開 PHI 無法保留的限制。
原標題:Don’t be data poor — Anuj Iravane, Anterior
重點摘要
- PHI 逼出合成資料路線醫療紀錄雖是最有用的評測素材,卻受合約與法規限制,不能保留、去識別化或做任何衍生用途,逼得 Anterior 走向自己生成資料這條路。
- 直接生成會 mode collapse一次要求 LLM 寫出完整病歷(動輒三百頁以上)很容易讓內容失去多樣性;問題根源在於預訓練與後訓練的目標本來就不是為了創意與多樣性設計。
- 反轉推理流程找多樣性把「資料+政策→推理→結論」的正向流程倒過來,先抽樣一個結論、回推可能的推理路徑,再據此生成資料,藉此拉高輸入的多樣性。
- 政策先變成決策樹把核准或拒絕的判斷邏輯(例如 CPAP 器材的醫療必要性審查)寫成符號化的決策樹,才能針對同一個結論,可決定性地抽出不同推理路徑。
- 臨床專家掌握主導權生成流程做成 skills 式的 agent harness,臨床專家能隨時介入調整生成過程,甚至自己新增技能檔案支援新文件類型,完全不需要工程師改動。
- 成果已見成效目前約九成資料集已是合成資料,盲測時臨床醫師只有六成機率能分辨真假,也讓團隊能在正式上線前就先模擬邊角案例。
時間軸
時碼點下去會跳到影片的那一段。
| 時碼 | 段落 | 重點 |
|---|---|---|
| 00:00 | 開場自我介紹 | Anuj Iravane 自我介紹,說明 Anterior 是由臨床背景主導、Sequoia 與 NEA 投資的健康險 AI 公司,並揭示今天要談資料策略。 |
| 01:00 | 病歷資料樣貌 | 他們最常處理的是掃描傳真病歷,約七成醫療溝通至今仍靠傳真,資料型態龐雜、字跡潦草,案例分布又是長尾。 |
| 02:07 | 準確度與 PHI 限制 | 醫療決策要求的準確度門檻極高,95%都不夠看,得靠大量 evals 撐住;但這些病歷屬於 PHI,依合約不能保留、去識別化或做任何衍生利用。 |
| 02:55 | 核心提問與決定 | 當最需要的資料剛好是最不能留住的資料,Anterior 選擇自己合成生成資料,呼應近來各家 Frontier Lab 投入合成資料的風潮。 |
| 03:27 | 直接生成的困局 | 直覺作法是讓 LLM 一次寫出整份病歷,但病歷常有三百頁以上,容易出現 mode collapse,生不出多樣、逼真的紀錄。癥結在於預訓練與後訓練的目標本來就不是為了創意與多樣性設計。 |
| 04:47 | 反轉推理流程 | 把原本「資料+政策→推理→結論」的正向流程倒過來,先抽樣一個結論、回推可能的推理路徑,再據此生成資料,藉此拉高輸入的多樣性。 |
| 05:52 | 政策變成決策樹 | 以 CPAP 器材的醫療必要性審查為例,Anterior 把核准或拒絕的判斷邏輯寫成符號化的決策樹,才能針對同一個結論,可決定性地抽出不同推理路徑。 |
| 06:59 | 抽樣分布更均勻 | 這樣抽出來的分布比 LLM 天生的分布更均勻,也能測到比正式資料更多的邊角案例;客戶給兩百筆資料測出 95%準確率,不代表分布外的罕見案例也一樣穩。 |
| 08:08 | 生成 pipeline 細節 | 流程先建立生理性別、出生日、血型等患者基本設定,推出病患一生的事件時間線,再逐次就診生成文件;最後用一致性 eval 校對,並拿原始結論回頭驗證,讓標籤天生正確。 |
| 11:35 | 臨床專家主導 | 生成得好不好不該由 AI 工程師說了算,Anterior 讓臨床專家能隨時介入調整生成過程;整條 pipeline 也做成 skills 式的 agent harness,專家自己就能加新技能檔案支援新文件類型,不需要工程師改動。 |
| 14:07 | 成果與收尾建議 | 目前約九成資料集已是合成資料,盲測時臨床醫師只有六成機率分辨得出真假;講者總結四個心法:反轉流程、依情境抽樣多樣性、模擬真實產生方式、把主導權交給領域專家。 |
值得記的話
名詞與人物
| Anterior | 服務健康保險的臨床 AI 公司,由 Sequoia、NEA 投資,本場講者任職的公司。 |
|---|---|
| PHI | 受美國法規保護的病患健康資訊,是本場資料限制的核心來源。 |
| HEDIS | 美國健康保險常用的照護品質衡量指標集。 |
| payment integrity | 保險理賠端用來抓錯誤給付或詐領的行政流程。 |
| medical necessity review | 保險公司依政策判斷某項治療或器材是否該核准給付的審查流程,本場以 CPAP 為例。 |
| mode collapse | 生成模型輸出趨於單一、缺乏多樣性的現象。 |
| patient journey | pipeline 中用來描述病患一生就診事件的高層級時間線。 |
延伸
- Frontier Lab 也在用合成資料做預訓練、強化學習、電腦操作與 agent 的訓練,講者形容這是業界共同在意的熱門題目,但本場沒有進一步展開。
- 講者提到醫療內外都已經有論文成功用 LLM 產生合成資料,細節同樣沒有多談。
- Anterior 內部把這套 skills 式的 agent harness 也用在其他工作流程上,內部與正式環境都有,但本場沒有細講是哪些。
- 講者說熟悉 Synthea 的人會發現做法類似:一樣是從符號化的因果狀態表示去抽樣情境,業界已有幾個團隊用這類符號表示來拉高合成資料的多樣性。