AI Engineer Europe 2026 · 演講 · 2026-06-04 · 23 分
好 benchmark 的科學與藝術
The Art & Science of Benchmarking Agents · Vincent Chen，Snorkel AI
Vincent Chen 從審了 120 份申請的 Open Benchmarks Grants 出發，拆解有用的 benchmark 要有哪些硬條件，又是什麼讓少數幾個能帶著整個領域往前走。
概要
- 能力跑在量測前面Vincent 觀察到 agent 的能力一直在進步，但問企業敢不敢放手部署，答案常常是否定的，因為衡量 agent 的能力落後於 agent 本身。開放的 benchmark 是補這個缺口的工具之一，作用不只是回頭看進度，還要替領域定出下一個目標。
- 科學面有四根支柱單題品質要經過嚴格驗證、題目分布要照分類刻意安排、難度要留有空間讓模型拉開差距，評估方法要量到真正重要的面向。
- 藝術面有三個特徵好的 benchmark 對領域的走向下了賭注，能催生新的研究路線圖，而且對研究者與開發者夠好用。Vincent 特別說「研究者 UX」被嚴重低估。
- 賭注與路線圖有實例Vincent 舉 Terminal Bench 當作押注 CLI 的例子，SWE-bench 則是從一個簡單點子長出一整個系列的例子。
- 下一波看三個方向環境的複雜度、agent 能自主運作多久，以及輸出成果的多樣與複雜度，這是 Snorkel 內部對 benchmark 缺口的判斷。
原話
▶ 03:27“open benchmarks in particular, remain a really critical piece of the measurement toolkit”
尤其是開放的 benchmark，仍然是量測工具箱裡很關鍵的一塊
▶ 03:43“They're actually about defining progress, and shaping the field, and setting a goalpost”
它們其實是在定義進步、形塑領域、設下目標
▶ 13:41“Terminal Bench is one of these bets, right? It was a bet on the CLI”
Terminal Bench 就是這類賭注之一，它押的是 CLI
▶ 15:59“this theme here, I think, is severely underrated. And this is the notion of researcher UX.”
這個主題我認為被嚴重低估，那就是研究者 UX
延伸
- GPQA 的審題流程還搭配付款機制，Vincent 說這套多人審題的做法借鏡了學界的 peer review。
- TauBench 論文裡的例子：模型訂對了航班，卻違反票價艙等規則，照樣算失敗。
- Vincent 認為 Terminal Bench 押 CLI 大致押對了，Claude 與 Codex 的團隊都把通用的企業能力建在 coding 與 CLI 工具上。
章節
點時碼直接跳到原片的那一段。
- Vincent 與 SnorkelVincent 自我介紹是 Snorkel AI 的 research fellow 與共同創辦人，這場要談打造 benchmark 的經驗。
- 評估落後能力現場的人都用過 agent，也看到 model card 上的進步，但企業還不敢放手部署，因為量測能力落後。
- 量測工具箱補上評估缺口需要一組工具，包括現場部署、red teaming、私有人工評估，Snorkel 最看重的是開放 benchmark。
- Open Benchmarks GrantsSnorkel 撥出 3 百萬美元資助開放 benchmark，到目前審了約 120 份申請，這場分享的就是從中得到的心得。
- 科學面：單題品質每一題都要有真實世界的複雜度、清楚的指令與可驗證的答案，GPQA 的多人審題與修訂機制是例子。
- 分布要有分類先為領域訂出分類，再刻意分配題目，連在正式環境裡少見卻特別重要的失敗情境也要涵蓋。
- 難度與餘裕benchmark 不能飽和，要能分出前沿模型的高低，Arc AGI 2 與剛推出的 Arc AGI 3 是例子。
- 穩健的評估方法成本、延遲、推理軌跡與工具使用都可以是訊號，TauBench 除了完成度也檢查是否遵守政策限制。
- 藝術面：要有論點最有野心的 benchmark 是在宣告世界要往哪走，Terminal Bench 押注 CLI 是這類賭注。
- 替領域畫路線圖好的 benchmark 會催生新的研究方向，SWE-bench 從一個簡單點子長出 Lite、Verified、Pro 等一整個家族。
- 研究者 UX跑模型、貢獻新題、拿訊號做 RL 或調整都要簡單，HELM 與 Terminal Bench 2.0 搭配的 Harbor 是例子。
- 整套框架回顧把前面的科學四項與藝術三項收成一張總覽。
- 下一波的三個軸提出環境複雜度、自主程度與輸出複雜度，說明這是 Snorkel 內部的判斷。
- 環境與自主範圍以 coding agent 與客服 agent 為例，說明真實工作環境與長時間運作的複雜度，現有 benchmark 只涵蓋一小部分。
- 輸出的複雜度策略建議這類成果很難定義什麼是可驗證的好，需要把組織脈絡與人的判斷放進訊號，並讓 agent 能表達不確定。
名詞
- Snorkel AI
- Vincent 任職的公司，自稱是 frontier AI data lab，做資料集與環境
- Open Benchmarks Grants
- Snorkel 資助開放 benchmark 的計畫，這場的心得就來自審查申請
- GPQA
- 研究所與專業知識的 benchmark，附錄裡有多位審題者的對抗式品質控管與獎勵機制
- Arc AGI 2 / Arc AGI 3
- ArcPrize Foundation 的 benchmark，Vincent 說 Arc AGI 3 剛推出時，前沿模型都不到 1%
- TauBench
- 評估多輪 agent 的 benchmark，有使用者模擬器，並檢查是否遵守政策限制
- Terminal Bench
- 押注 CLI 作為 agent 通用介面的 benchmark，2.0 版搭配 Harbor
- SWE-bench
- 以 PR 為基礎的 coding benchmark，衍生出 Lite、Verified、Pro、Multilingual、Multimodal 等版本
- HELM
- Stanford CRFM 做的模組化評估框架，用來在標準測試平台上比較模型與情境
- Harbor
- 隨 Terminal Bench 2.0 釋出的評估框架，Vincent 說它已是不少 agent 團隊的事實標準
