AI Engineer Europe 2026 · 演講 · 2026-05-25 · 19 分
Agent 開發該交給資料科學家嗎
Does GenAI "belong" to data scientists? · Phil Hetzel，Braintrust
Braintrust 的 Phil 觀察傳統企業與 AI native 公司怎麼分配 agent 開發，正反兩面都講一輪，結論是團隊要混編：資料科學家管風險與評估，領域專家管提示與標註。
概要
- 兩種組織，兩種起手式Phil 說傳統企業常由高層一聲令下，再轉給現成的 ML 或資料科學平台團隊；AI native 公司則多是小型、跨職能的工程團隊，每個人離問題都比較近。
- 模型已經訓練好了資料科學家熟悉的是訓練與測試的資料管線，但 Anthropic、OpenAI、Mistral 已經把這段做完。改變 agent 行為的主要手段，變成調整輸入、提示與 context。
- 正反兩方的理由都講支持交給資料科學家的理由是懂模型風險、有嚴謹的測試心態；反方則認為他們容易只盯著 precision、recall、F1，而 agent 需要評估的範圍更廣，還涉及分散式系統與領域知識。
- 資料科學家仍有三處能加分當團隊裡懂統計的人替過度樂觀的導入踩煞車、把 LLM as judge 當成一般分類器用標註資料驗證、需要微調開源模型時出手。
- 理想分工是混編產品、應用與系統工程師負責把需求做進產品，並建立 eval 與 observability 的回饋迴路；非技術的領域專家負責大量人工標註與提示、context 工程。
原話
▶ 07:31“the way that you can change that behavior is just by changing the inputs, the prompts, the context that you're giving that model.”
改變行為的方式，就是改輸入、提示和給模型的 context
▶ 09:27“they'll obsess over those metrics, because that is what has gotten them there up to that point.”
他們會執著那些指標，因為那些指標一路把他們帶到現在；指部分 ML 團隊
▶ 13:05“I think data scientists can be the adult in the room during those situations”
我覺得資料科學家可以在那種情況下當房間裡的大人
▶ 13:21“It's just predicting token after token. It doesn't actually know anything, really.”
只是一個接一個預測 token，其實什麼都不懂；設想資料科學家會對過度熱衷的人說的話
▶ 15:13“Answer is always in the middle.”
答案總是在中間
延伸
- Phil 說自己是先當 Braintrust 的使用者才進公司的：顧問時期看到客戶做生成式 AI 的概念驗證做得很勤，卻很少真的推上正式環境。
章節
點時碼直接跳到原片的那一段。
- 開場與提問Phil 提出這場的問題：agent 開發到底屬不屬於資料科學家或 ML 工程師，並先請現場舉手，說明自己的答案可能不太合聽眾胃口。
- 自我介紹與 BraintrustPhil 在 Braintrust 的 solutions engineering 團隊，之前做了 12 年顧問；Braintrust 是 agent quality 平台，靠 evals 與 observability 兩根支柱。
- 傳統企業與 AI native傳統企業由高層下令、再轉給現有的 ML 或資料科學團隊；AI native 公司沒有既有包袱，團隊小、跨職能。
- 模型已經建好對照訓練、測試、部署的傳統資料管線：現在這段由模型供應商做完，使用者端仍要自己測試。
- 怎麼改變行為傳統 ML 靠加資料或 feature engineering 再做 A/B 測試；生成式 AI 則主要靠改輸入、提示與 context。
- 正方：屬於資料科學家資料科學家懂神經網路，更能體會風險，也有嚴謹的上線流程與測試心態。
- 質疑：知道測什麼嗎有些團隊緊抓 precision、recall、F1，但 agent 要評估的是功能表現，不只是技術指標。
- 反方：屬於非資料科學家LLM 就是 API、分散式 agent 是複雜的系統問題，領域專家與 PM 也最貼近問題，能看 trace 判斷好壞與原因。
- 結論：團隊要多元Phil 不要求資料科學家整個換技能，而是主張建這類平台時要把技術與非技術的人都放進來。
- 資料科學家的價值三處：替團隊加 guardrails、用標註資料驗證 LLM as judge、需要微調開源模型時出手。
- 理想的分工工程端把需求做進產品並建好 eval 與 observability 回饋迴路；領域專家負責人工標註與提示、context 工程。
- 收尾與第一個問題答案在中間；被問到從問題而非 agent 系統出發時，Phil 說思路一致：這是多元團隊一起做的產品，不是丟給 ML 團隊的另一個預測模型。
- 領域專家與 eval 對齊Phil 說 Braintrust 平台有人工標註與提示 playground 給領域專家用；也把線上資料持續補進離線資料集，檢查 eval 與人類判斷是否漸行漸遠。
名詞
- Braintrust
- Phil 任職的公司，自稱 agent quality 平台，以 evals 與 observability 兩根支柱為主
- Slalom Consulting
- Phil 加入 Braintrust 前任職的顧問公司，曾在那裡帶領全球 Databricks 事業單位
- AI natives
- Phil 對一類公司的稱呼：整個產品圍繞 agent 打造、團隊小而跨職能
- LLM as judge
- 用 LLM 當評審做 eval；Phil 提醒它只是提示加模型，可以用標註資料集驗證
- context engineering
- 透過調整給模型的提示與 context 來改變 agent 行為，這場裡領域專家也能參與
- human annotation
- 人工標註 agent 的互動與 trace，Phil 說領域專家能指出表現好壞與原因
- precision / recall / F1
- 傳統 ML 工程師慣用的指標，Phil 認為不足以涵蓋 agent 的評估範圍
