把領域專家編進組織

概要

• 垂直 AI 是組織問題Chris 的立場是 frontier models 已經夠好，缺口在於組織怎麼把專家的判斷落實到產品裡，而不是挑到最強的模型。
• 三種角色三種分工Oracle 直接把專業知識放進應用程式並自己改進；Evaluator 定義怎麼衡量品質，改進交給工程師；Architect 設計能自動改進、從使用中學習的系統。
• 選角色看兩個問題能不能用指標衡量，以及人工迭代夠不夠快。Chris 說小規模的新創通常從 Oracle 開始，之後再往 Evaluator 或 Architect 演進。
• 三個案例對應三條路Granola 的 Joe 長期當 Oracle；Tandem 因為規模擴大改成分散式 Oracle；Chris 自己在 Anteria 則是從 Oracle 走到 Evaluator 再走到 Architect。
• 技能組合因角色而異Oracle 要有貼近使用情境的直接經驗，Evaluator 要有資料科學直覺，Architect 要懂 LLM 產品能調整哪些槓桿。
• 用人三原則指定一位 principal domain expert、給專家決策的所有權、招募時看重技能的廣度。

原話

• “frontier models are good enough but the gap is now how do organizations operationalize the expert judgment around them”

  frontier models 已經夠好，缺口在組織怎麼把專家的判斷落實到產品裡

  ▶ 04:00

• “you can only actually move on to an evaluator if there's some kind of objective metric you can measure”

  只有在能量出客觀指標的前提下，才能往 evaluator 發展

  ▶ 10:25

• “consensus by committee where it's everybody's kind of responsible so nobody's truly responsible”

  靠委員會達成共識，結果人人有責、沒人真正負責；這是 Chris 說指定單一負責人要避免的狀況

  ▶ 19:51

• “you want them to be in the room when you're making these decisions”

  做決策的時候要讓他們在場

  ▶ 20:24

• “the playbook on how this stuff works is still being figured out at the moment”

  這套做法的作戰手冊目前還在摸索

  ▶ 24:03

延伸

• Chris 說 Architect 如何設計自動改進的方法會在另一場演講中談，這場沒有展開。
• Chris 說 Oracle 需要的「相關領域專業」是直接做過那個使用情境：如果產品做醫療編碼，光是醫師還不夠，要真的做過醫療編碼。