重點摘要

Dora 是什麼、規模多大　Ufonia 的 Dora 是打電話給病人做術後追蹤、術前確認的語音 agent，在英國 20 家醫院做過約 20 萬通真實臨床電話，合約要在兩年內擴大到百萬病人；美國也已在兩家診所上線，另簽了六家。

病人身上沒辦法 A/B test　把病人分到較差版本不合倫理也可能違法，電話一旦說出口就收不回，模型在某個 benchmark 拿到的分數在事後審查時也不算數，這三個限制讓一般軟體的上線做法失靈。

借鏡自駕車，建了 Matrix 模擬框架　比照自駕車先跑幾百萬英里模擬才真的載人，Ufonia 用 LLM 扮演病人（Patbot），在特定臨床情境下跟 Dora 對話產生模擬對話，取代找真人演員做測試。

找真病人驗證模擬夠不夠真　把「真人醫病對話」跟「Dora 對 Patbot」的對話放在一起給病人比較，四組裡有三組多數人反而覺得模擬對話比較真實，但也發現沒有唯一標準的「真實病人」，得模擬各種不同人格。

自動判官取代人工看對話　模擬對話量太大，人工看不完也不是臨床專業，於是另訓練一個模型判斷是否觸發危害，用語料對照跨科別醫師的標記驗證，結果跟專家相當甚至略勝。

用自動化工具取代人工調 prompt　手動 prompt engineering 主觀又耗時，格式改一下就能讓 benchmark 差幾十個百分點，改用自動優化工具後，原本要幾天的流程壓到半小時到一小時，還能重現、留稽核軌跡。

值得記的話

You can't undo a call. Once Dora says it, it's been said, and there is no rollback.

電話說出口就收不回，沒有回滾這回事

01:00

Simulation is only the real ethical option we can go with.

模擬是唯一符合倫理的做法

05:50

In three out of the four, the majority of people actually thought that the simulated patient was more realistic.

四組對話裡有三組，多數人反而覺得模擬病人的對話更真實

08:46

You don't ship the model. You ship the evidence when trying to regulate.

面對法規審查時，要交出去的不是模型，是證據

16:40

時間軸　11 段

名詞與人物　8 個

提到但沒有展開

• 講者提到 Matrix 框架的論文已經放上 arXiv。
• Matrix 與自動判官這套「黑箱測試、記錄危害、模擬加判官」的做法，後來也被搬到語音模態，用來抓打斷、搶話等新出現的危害。