拉高地板：Agent 上線後怎麼評估

103Ben Hylak（Raindrop）19:452026-08-12 上架

Designing Agents (The Floor Is the Frontier) — Ben Hylak, Raindrop

Raindrop 共同創辦人兼 CTO Ben Hylak 認為網路上的 eval 做法還停在聊天機器人時代，改談 agent 上線後怎麼找問題、怎麼量影響範圍，最後給三個分析上的經驗。

這場講了什麼

• eval 的說法停在聊天機器人時代：網路上多數 eval 文章仍教人先建一千筆的資料集，Ben 說幾乎沒人真的這樣做。而且一換模型或 harness，寫好的 eval 就大批失效，例如換到 Claude Code CLI，八成 eval 就不能用了。
• 破壞信任的是地板：天花板是產品最驚人的能力，地板是 agent 最糟會做出什麼事，例如推薦競爭對手、刪掉一堆資料、寄一封 AI slop 信給客戶。Ben 認為讓使用者不再信任的是地板。
• eval 要寫成測試：prompt 現在就是整套 harness，不再只是一串字，所以 eval 也該像單元測試或端對端測試，在本機跑，當成程式碼保存。
• 每個問題先問兩件事：什麼時候開始的、影響多少比例的使用者。知道問題是昨天才冒出來，就會回頭查是不是換了模型或下游哪裡變了；三個使用者和十萬個使用者也是天差地別。
• 做法看使用者有多少：每天 10、20 到 100 million 則訊息的產品，可以拿免費層的一小部分做實驗；只有五到十個使用者，就不建議做實驗或 A/B 測試。
• 三個分析經驗：clusters 不等於 issues；code mode 用在 traces 上很能擴展；agent 不擅長找異常，該請它調查已經找到的異常。

影片從哪一段開始看14 段

1. 00:12開場與方向Ben 要談實務上看到哪些做法真的讓 agent 變好；這類事情沒有好的標準，所以想把這場變成對話，留很多時間問答。
2. 01:49一年前與現在一年前幾乎都是聊天機器人，使用者會問的問題多半知道答案；現在 agent 已用在金融、醫療、國防，碰到障礙會自己想辦法繞過，這讓它強大，也讓它可能闖大禍。
3. 03:53傳統 eval 的問題網路上的 eval 做法還停在聊天機器人時代，新模型、新 harness 一來就失效；唯一確定的是東西會一直變，別花幾個月投資一套會拖慢自己的 eval 集。
4. 05:16Raindrop 在做什麼Raindrop 找出 production agent 的問題、驗證修復沒有副作用、並依過去的行為在上線前模擬變更；也做了開源追蹤工具 Workshop 與一份 agent 評估指南。
5. 07:05核心問題要問的是怎麼讓 agent 變好，不只是它有哪些問題；有些問題不值得自己解，等更強的模型出來再接進產品反而划算。
6. 07:53benchmark maxer 還是 floor raisereval 這個詞被用到快沒有意義；下游公司借用實驗室的語言，但要灌進的是公司自己的領域知識，責任完全不同。
7. 09:26使用者是不是領域專家拿 autocomplete、Claude Code、Devin、AI 醫生來比，使用者要自己把關的程度差很多。
8. 10:16天花板與地板天花板是最驚人的能力，地板是最糟的行為；Ben 認為破壞信任的是地板。
9. 11:26離線 eval 寫成程式碼prompt 現在就是整套 harness，eval 該像單元測試與端對端測試，在本機跑；Sentry 的 vitest evals 就是一例。
10. 12:57怎麼拉高地板先找出自己沒看到的問題；每個問題都要知道何時開始、影響多少比例的使用者。
11. 14:28使用者量決定做法Ben 第一個問的是有多少使用者；流量大的可以在免費層小樣本做實驗，只有五、十個使用者就換一套完全不同的做法。
12. 15:33clusters 不是 issues把 traces 全部分群，對一次性分析有用，但很難隨時間追蹤、邊界也不受控；報錯價格與算錯退款可能落在同一群，成因卻完全不同。
13. 18:00code mode 能擴展把 MCP 那邊的 code mode 用到 traces 上，寫 classifier 放進 sandbox，可以在 production 規模跑。
14. 18:34agent 不擅長找異常異常要先用確定性的方法抓，例如某個關鍵字的頻率突然升高，再請 agent 去調查。

值得記的話5 句

• You want more safety, but you don't want theater.要更安全，但不要做樣子04:41

• The word eval is more or less a meaningless word.eval 這個詞差不多已經沒有意義08:23

• the prompt is actually like the whole thing now.現在 prompt 其實就是全部11:58

• The first one is that clusters are not issues.第一個經驗：clusters 不是 issues15:48

• don't ask your agent to find anomalies, ask it to investigate anomalies you've already found.不要叫 agent 去找異常，叫它去調查你已經找到的異常18:34

名詞與人物6 個

Raindrop

Ben 共同創辦、擔任 CTO 的公司，做 production agent 的問題偵測、修復驗證與上線前模擬；Ben 說可以想成專門偵測 agent 問題的 Sentry

Workshop

Raindrop 做的開源追蹤工具；Ben 說想試 self-healing loops 用它最合適，缺的功能可以讓 agent 自己加

floor / ceiling

地板是 agent 最糟會做的事，天花板是產品最驚人的能力

benchmark maxer / floor raiser

Ben 拿來問客戶的兩種取向：衝基準分數，還是把最差情況往上拉

vitest evals

Sentry 做的套件，在 vitest 上加一點語法糖的 eval 工具

code mode

原本在 MCP 脈絡下的做法，Ben 建議套到 traces 上，寫 classifier 放進 sandbox 跑

提到但沒有展開

• Ben 拿「big eval」那套說法反問：新模型出來，你真的會為了更新 eval 把升級延後兩週嗎？
• 社會上可能出現、甚至已經看到的最糟情況，例如模型的 sycophancy（諂媚），Ben 認為多半屬於地板那一側，而不是能力那一側。

Agent評估開發工具

在 YouTube 看原片 ↗