AI in Healthcare @ AI Engineer

001 免人工的癌症用藥授權流程 16:41

Risa Labs 用四個 agent 交叉比對多方證據，把癌症用藥的事前授權逐步做到不需要人工核准。

四個 agent 分工　用 EV agent、auth agent、necessity agent、submission agent 把事前授權流程拆成保單查核、授權狀態判斷、臨床必要性評估與送出四段，逐段推進到可以不經人工。

先解決規則明確的案件　藥物不需要授權或授權已在案時，用 LLM 抽取病歷，再比對歷史授權信與 payer 規則資料庫兩個來源，兩邊一致才算高信心，這部分訂單就能完全跳過人工。

LLM 抽取不能單獨信任　LLM 判斷授權狀態時常因病歷資料不足而出錯，這類做法只能提高效率、不能取代人工複核，因此才加上多來源交叉驗證。

用 LLM 生成 RPA 設定　各家保險公司 portal 介面都不同，改用共用的動作庫加上 LLM 自動產生設定檔取代手刻整合，並加自我修復機制處理常見的自動化故障。

真正需要判斷的案件交給 medical necessity agent　藥物確實需要授權時，讀病歷、policy criteria 與病人的 biomarker 資料，讓 LLM 產出附信心分數的問答，信心不足才轉人工。

002 臨床標註校準 AI 教練安全分寸 21:17

SonderMind 團隊說明如何用雙層 guardrail 架構與臨床人員標註的 eval，替心理健康 AI 教練在安全與可用之間抓對分寸。

架構把安全放兩端　輸入、輸出兩層 guardrail 包夾核心的 SonderCore，各自用獨立的 LLM 判斷是否要介入，模組化設計讓核心能持續迭代，又不必每次重新驗證整套安全機制。

抓對而非抓多　一般 LLM 的 guardrail 太保守，誤觸發對正在求助的使用者來說像被甩門；SonderMind 用主動危機、過去創傷揭露、一般情緒議題三種情境，校準出不同的介入方式。

臨床人員定義對錯　對話會被追蹤下來，交由臨床人員標註「應有的處置」，轉成含期望結果與分類的 eval，之後每次模型或 guardrail 異動都要通過這些由人定義的判準，而不是系統自行認定。

也要防止過度緊張　除了不能漏接風險，也要避免系統比人還容易恐慌；做法是讓臨床專家定義「正確」、用具體問題檢驗每個標註情境，並把它們變成上線前必須通過的關卡。

開源共用的安全基準　認為這類挑戰不是單一公司獨有，因此釋出 200 筆輸入 guardrail 與 100 筆輸出 guardrail 情境供業界參考，但強調這不能取代自己建立學習迴圈。

003 兩億通電話練出的問診語音架構 20:39

Hippocratic AI 用同時運作 31 個模型的語音代理主動致電病患問診，兩億通對話下仍維持零重大安全事故。

兩億通對話撐起的臨床代理　Hippocratic AI 打造會主動致電病患的 AI care manager，做用藥核對、生命徵象確認、停藥偵測，必要時轉介護理師，累積超過兩億次臨床互動，零重大安全事故。

從稀缺走向普及　醫療長期只能靠 triage 篩出最需要照顧的少數人，講者認為 AI 對話的成本已經夠低、也夠臨床安全，才有機會把「只打給最重的病人」變成「打給每一個人」。

快與準的取捨被拆解　反應快的通用模型不夠臨床精準，精準的模型又慢到無法即時對話，Hippocratic AI 因此決定由下而上打造自己的語音技術堆疊，把每次省下的延遲拿去換更多智慧，形成互相加乘的循環。

Polaris 架構分工聽、想、說三段　聽的一端處理背景雜音與雙語切換；中間的大腦同時跑 31 個模型，一個主模型搭配 30 個各司其職的專家模型，各自先判斷需不需要開口再交給主模型裁決；輸出端負責語音與病歷紀錄回寫。

語音辨識自己微調到懂臨床脈絡　把開源的 Whisper V3 large turbo 微調成 encoder，額外餵入對話脈絡與領域知識，把醫療用詞辨識錯誤率壓低超過五成，速度也比同類系統快三倍。

用人類醫療分級的尺標評分自己　不只看模型輸出對不對，而是套用 correctness、no harm、minor harm、severe harm、death 這套人類醫療傷害分級表打分，五代 Polaris 迭代後「no harm」達 99.89%，並自建 Heart 評測基準衡量對話的同理心。

004 AI 情感教練的迎合陷阱與解方 16:43

許多人已經在向 AI 求助感情問題，但一味肯定式的回應只會讓人更執著己見；這場演講談的是感情 AI 該有的臨床標準。

迎合式回應是臨床問題　通用 AI 對感情困擾多半只會全盤肯定使用者的說法，讓人更確信自己沒錯而非更有自覺，講者稱這種 sycophancy 是感情 AI 的臨床失效模式，不是產品小毛病。

感情 AI 的使用規模已超越治療師　BetterHelp 花十年建立起約 35,000 名執業臨床師、服務 500 萬用戶的心理健康基礎建設，但現在向 AI 談感情問題的人已經比全美所有執業治療師合計服務的人數還多。

經過驗證的方法幾乎缺席　John Gottman 四十年研究對離婚的預測準確度、Sue Johnson 建立的 emotionally focused therapy 都是伴侶治療領域最扎實的框架，卻幾乎不存在於現有的商用感情 AI 產品裡。

感情教練也是高風險領域　通用 AI 分不出「常吵架」和「怕跟對方意見不合」的差別，也接不住可能牽涉家暴、自殺或他殺風險的求助訊號，但執業臨床師受過這種辨識訓練。

敏感資料缺乏保密框架　使用者告訴 AI 的外遇、財務秘密、小孩名字等內容，可能和訓練資料、後端 log 混在一起，不像診間對話受 privilege 保護。

Maxine 用臨床框架取代通用同理心　CoupleWork AI 打造的 Maxine 採用 Gottman Method 與 EFT 框架，會反映關係裡的深層互動模式，偵測到風險字眼就停止教練、轉走安全協定；開發方式則是先和臨床師一起定義標準，再寫成大量 eval 反覆驗證。

005 反轉推理生成醫療合成資料 16:45

Anterior 的 AI 負責人說明如何用反轉推理與臨床專家共創的方式生成醫療合成病歷，繞開 PHI 無法保留的限制。

PHI 逼出合成資料路線　醫療紀錄雖是最有用的評測素材，卻受合約與法規限制，不能保留、去識別化或做任何衍生用途，逼得 Anterior 走向自己生成資料這條路。

直接生成會 mode collapse　一次要求 LLM 寫出完整病歷（動輒三百頁以上）很容易讓內容失去多樣性；問題根源在於預訓練與後訓練的目標本來就不是為了創意與多樣性設計。

反轉推理流程找多樣性　把「資料＋政策→推理→結論」的正向流程倒過來，先抽樣一個結論、回推可能的推理路徑，再據此生成資料，藉此拉高輸入的多樣性。

政策先變成決策樹　把核准或拒絕的判斷邏輯（例如 CPAP 器材的醫療必要性審查）寫成符號化的決策樹，才能針對同一個結論，可決定性地抽出不同推理路徑。

臨床專家掌握主導權　生成流程做成 skills 式的 agent harness，臨床專家能隨時介入調整生成過程，甚至自己新增技能檔案支援新文件類型，完全不需要工程師改動。

成果已見成效　目前約九成資料集已是合成資料，盲測時臨床醫師只有六成機率能分辨真假，也讓團隊能在正式上線前就先模擬邊角案例。

006 從臨床文件到臨床智慧的野心 21:35

Abridge 工程負責人談公司如何從自動產生病歷，走向臨床決策支援與醫囑代辦，並拆解品質、延遲、成本三大工程難題。

醫療產業的結構性壓力　不同於其他產業，醫療的行政成本逐年上升、生產力卻沒有跟上，醫院利潤薄、醫師過勞，是 Abridge 從病歷紀錄切入的背景。

從病歷紀錄走向臨床智慧　Abridge 先靠幫醫師自動寫病歷打入市場，下一步要把整個看診流程串起來，看診前建議討論主題、看診後自動產生病人摘要、病歷與醫囑，全部圍繞醫病對話展開。

醫療是 agent 產品的困難模式　任何 agent 產品都要顧品質、延遲、成本，但醫療的容錯率極低，答錯會直接失去病人信任，也不像其他領域可以事後修正。

用臨床醫師打造 LLM 評審　因為臨床問題往往沒有單一正確答案，Abridge 讓獨立醫師制定評分準則（rubric），再用 LLM 依準則比對 agent 回答，取代單一「標準答案」。

拆解成小模型控制成本　與其用一個大模型處理整份病歷，Abridge 針對病歷不同段落個別訓練小模型，靠每年上億筆對話的資料優勢維持品質，同時壓低成本與延遲。

醫囑擷取要抓對時機　醫師看診時常口頭提到用藥或檢查醫囑，系統得抓對時機才觸發較貴的大模型做比對確認，不能每隔幾秒就跑一次昂貴的模型。

007 健康 AI 上線前的護欄設計 21:49

Hinge Health 的 AI 負責人整理會員健康 AI 上線前該有的三層架構防線，以及架構撐不住時該怎麼做決定。

健康 AI 已經出包　講者用「鹽換成 sodium bromide 中毒」「Mount Sinai 誤判測試」「ECRI 頭號風險排名」三個例子，說明健康 AI 的安全問題不是假設，而是正在發生的事。

PHI 要在架構層面就消失　不是等寫進儀表板才遮蔽，而是在資料進 pipeline 那一刻就先剝除；正式與非正式環境完全隔離，存取權限依角色與地區分流。

不可逆的判斷交給 code，不交給模型　緊急升級、對話分流、身分驗證這類決定必須放在模型之上的確定性 code 層，因為連前沿模型自己公布的權限階層裡，user 以上的每一層都可能被 prompt injection 蓋過。

安全評估要一直開著　除了上線前的測試，還要靠自動化 judge、會員的按讚／倒讚回饋、人工抽查高風險對話三種訊號持續監看線上對話，瓶頸永遠是有沒有足夠的人去讀訊號。

架構撐不住時，靠五條規則做決定　嚴重度看最壞情況，例如影響 100% 使用者的輕微 bug，嚴重度還是比不上只在 0.1% 情況下會造成嚴重傷害的 bug；拿不準就選比較安全的那個錯誤；校準組織實際容忍的風險，而不是嘴上說的風險。

先確認訊號本身沒錯，再去動東西　judge 分數異常時，要先判斷是 judge 判斷錯了還是 agent 真的錯了，再決定修哪一邊，而不是急著去改 prompt。

008 用 X12 當理賠 Agent 的護欄 20:25

講者以醫療保險的 X12 交易格式為基礎，替 AI agent 的理賠流程做出一層可驗證、可擋錯的執行護欄。

從模型能力到執行層　AI 這幾年從類神經網路、Transformer 一路走到聊天介面，但真正的變化是最新這批 agent 能實際採取行動，這也是這場演講要談的重點。

X12 天生就是護欄　講者把 X12 比作 COBOL、TypeScript 這類規則嚴謹的語言，語言模型在被限制清楚的格式裡反而表現得更好，X12 剛好提供這種公開、固定的結構。

理賠是一長串會出錯的步驟　從掛號、資格確認到送出理賠、收到款項，每一步都有對應的 X12 交易代號；步驟一多，錯誤就會一路往下傳，所以每一步都要能被檢查、能被擋下來。

記憶要謹慎使用　企業醫療系統不會像個人工具那樣把記憶直接寫在桌面，而是存進資料庫，分成組織層級與使用者層級；但記憶也會帶來偏見，要留使用者跳脫慣性的空間。

X12 不等於真相　保險公司回傳的 X12 可能來自不同廠商或系統，彼此會互相矛盾，甚至全部一致地錯；講者建議把它當成「暫時正確，直到有下游證據推翻」的資訊。

AI-pilled 但要 AI-skeptical　講者自認完全相信 AI 的潛力，但也提醒要對模型保持懷疑，選模型時要顧到成本，不要拿昂貴的模型處理一天要跑上千次的例行工作。

009 從人才到流程的 AI-Native 轉型 17:18

Maven Clinic 工程負責人分享如何靠工具、人才與流程三管齊下，讓公司真正做到 AI-Native，並談醫療場景中如何控管 AI 的幻覺與失誤風險。

AI 應用分三個層次　對內鼓勵大家先用 AI 處理手上能做的工作，對外把 AI 做進產品（例如客服 Chatbot），最後才是調整公司文化與工作方式，三者要同時推進才算真正做到 AI-native。

依採用速度分眾溝通　早期採用者放手讓他們自己摸索並分享心得，多數人靠共用的基礎設施與工具支援（去年多用 Cursor，今年轉向 Claude Code），抗拒的人則要先理解他們的顧慮，同時把公司方向講清楚。

招募與考核標準轉向　找人更看重是否真心對 AI 有興趣、能不能獨立解決問題，工程師與 PM 的界線也變得模糊，績效考核開始納入「有沒有用 AI 放大貢獻」這一項。

規劃週期縮短到兩到四週　因為 AI 模型進步太快，三到六個月的中期規劃反而很難做，團隊改成用短衝刺交付、需求文件只寫一到兩頁，方向錯了就快速調整。

Code Review 制度重新設計　AI 讓工程師寫程式的量暴增，逐行審查跟不上，於是限制單一 PR 不超過 500 行、用 stacked PR 拆分大功能，簡單的 PR 可以自行決定要不要找人審查但仍要負責，同時嚴防「rubber stamp」式的盲目通過。

用分級驗證與人工抽查控管風險　容錯度低的場景（例如理賠金額）會用不同模型交叉比對結果，兜不攏就轉真人處理；上線後靠自動評分系統加人工抽查持續檢視對話品質，新功能上線時抽查比例會拉高。

010 Dora 上線前的安全證據 19:14

打電話問診的臨床 AI Dora，不能拿病人做 A/B test，只能靠模擬與自動判官一步步換來上線的證據。

Dora 是什麼、規模多大　Ufonia 的 Dora 是打電話給病人做術後追蹤、術前確認的語音 agent，在英國 20 家醫院做過約 20 萬通真實臨床電話，合約要在兩年內擴大到百萬病人；美國也已在兩家診所上線，另簽了六家。

病人身上沒辦法 A/B test　把病人分到較差版本不合倫理也可能違法，電話一旦說出口就收不回，模型在某個 benchmark 拿到的分數在事後審查時也不算數，這三個限制讓一般軟體的上線做法失靈。

借鏡自駕車，建了 Matrix 模擬框架　比照自駕車先跑幾百萬英里模擬才真的載人，Ufonia 用 LLM 扮演病人（Patbot），在特定臨床情境下跟 Dora 對話產生模擬對話，取代找真人演員做測試。

找真病人驗證模擬夠不夠真　把「真人醫病對話」跟「Dora 對 Patbot」的對話放在一起給病人比較，四組裡有三組多數人反而覺得模擬對話比較真實，但也發現沒有唯一標準的「真實病人」，得模擬各種不同人格。

自動判官取代人工看對話　模擬對話量太大，人工看不完也不是臨床專業，於是另訓練一個模型判斷是否觸發危害，用語料對照跨科別醫師的標記驗證，結果跟專家相當甚至略勝。

用自動化工具取代人工調 prompt　手動 prompt engineering 主觀又耗時，格式改一下就能讓 benchmark 差幾十個百分點，改用自動優化工具後，原本要幾天的流程壓到半小時到一小時，還能重現、留稽核軌跡。

011 從交易桌到臨床試驗的 AI 心法 20:01

講者對照避險基金與製藥新創導入 AI 代理人的經驗，整理出建置垂直 AI 的共通步驟，說明兩個產業最後都得靠領域專家把關。

提出 Applied Vertical AI 概念　泛用 AI（如 Google Translate）服務多個產業；Applied Vertical AI 只鎖定單一產業，目標是模擬該產業從業者的判斷，講者任職的 Allos AI 用 AI 做藥物研發即是一例。

速度與精準的取捨不同，工作核心卻一樣　避險基金追求速度，「大致對、快很多」就好；製藥要求絕對正確，寧可多花時間。講者原以為換產業會徹底不同，結果 Applied AI 的核心工作完全沒變。

兩個產業的關鍵資料都被揭露規則逼出來，卻常被隱瞞　管理逾一億美元美股部位的機構每季須公開持倉，一旦揭露就被人反向推算、侵蝕獲利；法規也要求揭露每筆臨床試驗成敗，但講者說近三成基金從未照做，FDA 曾公開提醒逾兩千家申辦者未揭露不利結果。這類資料因此連 OpenAI、Anthropic 都拿不到。

模型在這些領域無法自我驗證　可驗證獎勵的強化學習在數學、程式這類有標準答案的任務上有效，但交易判斷或藥物候選沒有客觀對錯，用 LLM 當裁判行不通，講者形容那只是「用行話唬弄過去」。

解法是雇用領域專家、建立學習迴圈　專家從最基礎的提示詞開始參與，教模型判斷哪些資料來源可靠、如何拆解問題，再透過監督式微調、RLHF、「rubrics as reward」與成本最低、報酬最高的錯誤分析，把專家的判斷逐步內化進代理人。

兩個產業現在都是 AI in the loop，不是 human in the loop　最終決策仍由專家拍板，AI 只負責省時間——交易員從候選交易論點中挑一個，藥廠專家從候選藥物中挑一個。講者認為模型與基礎設施都是人人買得到的商品，真正的護城河是網路上找不到的專屬領域資料。

012 企業導入 AI Agent 的四道關卡 19:15

從一個醫療 AI POC 卡在生產環境的情境出發，兩位工程主管拆解企業要讓 AI agent 上線，架構上非解決不可的四道關卡。

POC 好用不代表能上線　健保應用的示範一旦要進生產環境，資安、法遵、臨床主管會接連追問稽核紀錄、資料流向、人工核准與 evals，這些在 POC 階段通常都還沒處理。

稽核軌跡要禁得起檢驗　SOC2、HITRUST、HIPAA 要的不是開發者慣用的 log，而是能完整重建 agent 每個動作、每次資料存取、每次授權的紀錄。做法是用只能新增、蓋時間戳的事件日誌（event sourcing）當唯一事實來源，寫入簡單、讀取靠重放。

醫療資料要跟事件紀錄分開放　PHI 形狀複雜、常超過 1MB，甚至更大，存取限制嚴格，也有客戶要求資料不能離開自己的 VPC。做法是事件只存對物件儲存的參照，資料本身用 schema 驅動的物件儲存不可變地另外存放，也讓 agent 用 token 在使用當下才領資料的 zero trust 成立，藉此堵住 lethal trifecta。

人與 LLM 該被當成同一種 agent　什麼時候該把決策升級給人無法預先排定，人跟 LLM 處理上下文的方式也不同。解法是讓平台裡任何 LLM 能做的動作人也能做，下游流程不用區分是誰執行的。

evals 可以是架構的副產品　LLM 非決定性、離線資料集不代表正式環境、資料還會隨時間漂移，讓評測天生難做。但靠前面事件重放、物件儲存與人機同權這三個原則，就能直接比較 agent 跟人類的差異，甚至在客戶環境裡對正式資料跑評測而不外洩資料。

與其事後補規範，不如先蓋地基　先做出 POC 準確率、再把稽核、安全、evals 當附加項外掛上去，最後只會做出脆弱、難以推廣的系統；反過來先把生產環境的要求當架構原則，再往上重建 POC 的準確率，才走得通。