AI Engineer Europe 2026 · 演講 · 2026-05-25 · 20 分
人人都能參與的 agent 評測
Agentic Evaluations at Scale, For Everybody · Nicholas Kang、Michael Aaron，Google DeepMind
Kaggle 的 Nick 與 Michael 先說現行評測散落、不透明、做的人太少，再介紹四項社群做法與各自的難處。
概要
- 評測散落又很快過期Nick 說每天有 10 個以上新 benchmark 冒出來，找的方法只剩讀 arXiv；論文發表後，作者轉去做下一個，排行榜就沒人更新。
- 結果不透明、難驗證模型發表時的圖表看不出 benchmark 的設定與編排方式。Nick 舉例，競爭的實驗室不滿意某份 benchmark 的結果，自己重跑後公布更好的成績，差別在他們用了自家 API 提供的 compaction。
- 做評測的人太少Nick 的說法是 AI 研究者約 30,000 人，軟體工程師、資料科學家等技術人員約 30 million；沒人評測的東西就無法 hill climb，模型的能力落差會更明顯。
- 四項社群導向的做法黑客松、agent exams、Game Arena、Benchmarks。Nick 講前兩項，Michael 講後兩項，兩人都花不少時間談各項遇到的難處。
- Game Arena 靠對戰避開飽和模型互相對打，總會有勝負，Michael 認為因此不會飽和；難處是成本，poker 為了統計顯著性要跑約 400,000 手。
- agent 評測比模型評測難Michael 說從測模型轉到測 agent 後，很難分清楚在測 harness 還是模型，並引 Morph 的部落格文章：六個前沿模型只差幾個百分點，換個 harness 卻會差到約 22%。
原話
▶ 03:38“So the results you're seeing don't always reflect the actual state of things, and that's a problem.”
你看到的結果不一定反映真實狀況，這是個問題。Nick 在講競爭實驗室重跑 benchmark 的例子之後說的
▶ 04:10“And if something's not being evaluated, not being benchmarked, we cannot hill climb on it.”
沒被評測、沒被做成 benchmark 的東西，我們就無法對它 hill climb
▶ 06:20“Most people don't care about evaluating their own open-claw agents, which is kind of crazy.”
多數人根本不在乎評測自己的 OpenClaw agent，這有點誇張
▶ 09:18“they're not very good at, like, judging innovation and creativity.”
agent 不太擅長評判創新與創意
▶ 19:04“The thing that really matters a lot for coding performance is what harness is it running inside of, with like a 22% difference depending on the harness.”
Michael 轉述 Morph 部落格文章的結論：對 coding 表現影響很大的是跑在哪個 harness 裡，差距約 22%
延伸
- Michael 想到的一種玩法：在 Game Arena 辦黑客松，由社群提供 prompt，比誰最會提示模型、爬上排行榜。
- Nick 說這週有人聊到做安全導向的 agent exam，讓 agent 在接手信箱、Amazon 帳號之前先跑一次基線。
- agent exams 原本叫 SATs（standardized agent tests），Nick 說因為商標問題才改名。
章節
點時碼直接跳到原片的那一段。
- 開場與自我介紹Nick 是 Kaggle Benchmarks 的產品經理，Michael 是 Kaggle 的軟體工程師，兩人主要做評測與 benchmark；Kaggle 有 30 million 以上使用者，不只做競賽。
- 議程與問題一：散落又過期先預告「評測現況」與「他們怎麼解」兩段。第一個問題是 benchmark 每天 10 個以上地出現，要靠讀論文才找得到，發表後排行榜就沒人維護。
- 問題二：不透明難驗證發表圖表看不出模型設定與 benchmark 的編排方式；Nick 舉例另一家實驗室重跑後成績更好，原因是用了自家 API 的 compaction，而 Kaggle 對跑過的所有模型是同一種做法。
- 問題三：做評測的人太少做評測的是極少數人，沒被評測的領域就無法改進。Nick 以土耳其一位做了 20 年廢水處理的工程師為例，這位工程師自己建了 benchmark，資料只存在於本人的經驗裡。
- 四項解方與黑客松列出黑客松、agent exams、Game Arena、Benchmarks；Nick 認為黑客松能把人的精力導向對的問題，成果全部開源。現正與 Google DeepMind 的 AGI 團隊合辦，題目是衡量 AGI 認知能力那篇論文十項能力中的五項。
- 黑客松的難處要給參加者合適的工具，例如託管資料集、取用模型，有人付不起多組 API key；成果要能寫成讓別人看懂的文章；agent 不擅長評判創新與創意，仍需人類專家，專家之間的共識也不容易。
- Agent exams對 agent 貼一行 prompt 就會參加考試，分數放上排行榜可以互比，上週剛推出實驗性 MVP。動機是很多人做出消費型 agent，卻沒測過就放出去。
- 考試的難度與反應難度要拿捏：太難沒人考完，太簡單沒有訊號。上線一週有 500 個以上 agent 受測；他們在一個 agent 社群平台上發文後，冒出 agent 自己貼分數的貼文，甚至有人開了備考課程。
- Game Arena 與遊戲選擇Michael 接手。Benchmark 容易飽和，Game Arena 用模型對戰避開；主要投入 werewolf（欺騙）、poker（隨機與欺騙，Grok 愛 all in，其他模型較保守）、chess。
- Game Arena 的運作流程設計遊戲、調 prompt 求公平，用 OpenSpiel 做 harness，跑在 Kaggle simulation platform，以 Bradley-Terry pairwise 減少場數；對話存成資料集，ELO 放上 benchmarks，另有 game visualizer。
- Game Arena 的難題成本高，poker 為了統計顯著要跑約 400,000 手；看模型對戰久了會膩，想讓社群參與；跨時間比較難，舊模型下架，端點也不一定誠實說背後是哪個模型。
- Benchmarks 平台它不是 production 評測平台，重點是讓任何人建置、執行、分享評測。寫斷言或用 LLM judge，多個 task 對一組模型評測再彙總成 benchmark；舉 Paige 做的重畫 XKCD SVG 為例。
- Benchmarks 的難處要讓人願意做出別人覺得有意思的 benchmark，不像 production 評測有現成的需求；黑客松、Kaggle 的點數與獎牌有幫助，但寫好一份評測仍很費工。
- agent 評測的難處從測模型變成測 agent 後，很難說清楚到底在測什麼；Michael 引 Morph 部落格文章說 harness 不同會差約 22%，另有題目本身含糊，以及模型快速上下架使時間比較困難。
名詞
- Kaggle
- Nick 與 Michael 任職的 AI／ML 社群平台，有 30 million 以上使用者，原以競賽聞名
- Game Arena
- 讓模型玩 werewolf、poker、chess 互相對戰，以 ELO 類型評分的 benchmark 平台
- Agent exams
- 對 agent 貼一行 prompt 就能參加的標準化考試，結果放上排行榜
- Benchmarks
- 讓使用者寫 task、選模型、彙總成 benchmark 並分享的平台
- OpenSpiel
- Michael 說 Game Arena 目前主要用的 RL 框架，遊戲多半建在它上面
- Bradley-Terry
- Game Arena 用來做 pairwise 比較、減少需要跑的場數的方法
- Compaction
- Nick 舉的例子裡，競爭實驗室透過自家 API 為自己的模型提供的功能
- Harness
- agent 跑在其中的外層程式環境；Michael 引的部落格文章說它對 coding 表現的影響很大
- Saturation
- benchmark 被模型刷到頂、失去區分力的現象，Game Arena 想避開它
- Paige
- 在同一間會議室、緊接在這場之前演講的人，為 Benchmarks 做了重畫 XKCD SVG 的 task
