刷榜為什麼停不下來

084Nick Heiner（Surge AI）17:242026-08-02 上架

When Will The Benchmaxxing Plague End? — Nick Heiner, Surge AI

Nick Heiner 拆解爛 benchmark 的成因：成本、資料污染、獎勵駭入、缺乏品味與品管，再談刷榜的手法，以及做得好的評測長什麼樣子。

這場講了什麼

• 刷榜是榜單與真實價值脫鉤：Nick Heiner 把 bench maxing 定義成實驗室對 benchmark 訓練過頭，偏離人們真正在乎的東西。大家都需要工具判斷哪個模型最好，但沒能力評估 benchmark 好壞，就只能看哪個流行。
• 做好 benchmark 很貴：照 Heiner 的算法，1000 題的 agentic coding benchmark，每題 60 小時，一個工程師一年 half a million，光建立就要 $15 million；每年約三分之一的題目會被模型淘汰，換掉又要 $5 million。用 AI 輔助或便宜人力都走不通，要推進前沿就得引進外部的人類專業。
• 污染是預設結果：公開的題目與答案一定會被模型記住一部分。Surge 針對 SWE-bench Verified 做過調查，找到 Opus 記住了很多內容的明確證據，而 Opus 4.8 的 model card 提了這項分數，卻沒有揭露污染。
• 題目與驗證器常常有硬傷：Automation Bench 用寫死的字串比對，IFEval 有指令互相矛盾的無解題，Apex 的資料看起來是合成的。三個例子分別對應缺乏野心、缺乏品味、缺乏品管。
• 刷榜是雙向的：一直往上爬 benchmark，人類評估卻持平甚至下滑，在行銷或組織壓力下就會這樣發生。Heiner 也聽說有人雇群眾去 LM Arena 投票，並引用一篇論文指出 Meta 測了 27 個模型卻沒有揭露。
• 好的評測從人類專家開始：專家決定任務、成功標準、輸入檔案與工具，再加上產品感與法規這類商業判斷；驗證器和題目要雙向對齊，還要留私有的 holdout set。Surge 的 Hemingway Bench 則找數千位專業寫手做盲測比較。

影片從哪一段開始看14 段

1. 00:12開場與問題新模型發表時總會列一堆 benchmark，接著就出現刷榜指控；這場要問刷榜為什麼發生、能不能結束。
2. 01:34LM Arena 被質疑預測市場上有數百萬美元押在 LM Arena 的結果，同時有業界領袖公開吹噓怎麼玩弄它；Gwern 說它很容易被玩弄，Karpathy 則觀察到團隊做出的是更會贏 LM Arena 的模型，不是更好的模型。
3. 02:24壞榜單為何盛行人人需要判斷模型的工具，評估不了好壞就看人氣，討論於是被既有地位與行銷帶著走。
4. 03:11成本：一份 benchmark 要花多少1000 題、每題 60 小時、每人一年 half a million，要 $15 million，每年換三分之一題目又是 $5 million；AI 輔助與廉價人力都不行。
5. 04:35污染公開問答一定會被記住；給 Opus 一段 SWE-bench Verified 題目的開頭，它會逐字吐出後半與答案。model card 沒有揭露這件事。
6. 05:59獎勵駭入與字串比對驗證器要擋得住極度偷懶的模型；Automation Bench 的電話格式比對讓 Haiku 和 Fable 都只拿 20%，Haiku 是錯很多，Fable 是答對八成但格式不同，這題分不出兩者。
7. 07:36缺乏品味：IFEval題目是沒人真的會問的拼湊指令，有互相矛盾的無解題，也有改用 Cyrillic 字母就拿滿分的漏洞。
8. 09:28營運能力不足：Apex檔案內容與評分標準對不上，資料看起來是合成的，模型因此更容易察覺自己在被測試。
9. 10:50人類評估與 benchmark 分岔人類評估昂貴，benchmark 是它的替代品；一直爬榜，人類評估可能持平甚至下降。
10. 12:07刷榜手法雇群眾去 LM Arena 投票、在不對等的條件下跑評測又不說明，以及論文指出 Meta 測了 27 個模型卻沒有揭露。
11. 13:12好 benchmark 的做法從人類專家出發，補上產品與法規的商業判斷，用真實的輸入資料、能用的工具、雙向對齊的驗證器，徹底品管並留私有 holdout set。
12. 14:49飽和的另一種解讀實驗室到 80% 左右說飽和，可能是發現 20% 的題目壞了；爬榜時要解完其他題才知道是哪些，排名因此被扭曲。
13. 15:38Hemingway Bench寫作太豐富、太人性，機械式指標和 LLM 當裁判都不行，Surge 找數千位專業寫手做盲測並排出榜單。
14. 16:39結論刷榜是在利用 benchmark 與人類偏好之間的錯位，做 benchmark 與報導 benchmark 的人都該被要求更高標準。

值得記的話5 句

• you can't push the frontier forward from within the frontier沒辦法從前沿的內部把前沿往前推04:01

• contamination is the default outcome unless you are very very good污染是預設結果，除非你非常非常厲害04:35

• Gradient descent is basically like water flowing downhill looking for the path of least resistance.梯度下降就像水往低處流，找阻力最小的路05:59

• It's an expression of values of what you want your AI to do and how you want it to behave.它表達的是一套價值：你要 AI 做什麼、怎麼表現07:36

• we believe that writing is just too rich.我們認為寫作實在太豐富了15:53

名詞與人物11 個

bench maxing

實驗室對 benchmark 訓練過頭，偏離人們真正在乎的東西

LM Arena

靠群眾投票排名的模型榜單，幾乎不過濾投票的人，Heiner 舉了多個被玩弄的例子

contamination

測試題與答案流進訓練資料，被模型記住

SWE-bench Verified

公開的程式 benchmark，Surge 的調查認為 Opus 記住了其中很多內容

reward hacking

模型用偷懶又有創意的方式符合規則的字面，卻違背精神

IFEval

指令遵循 benchmark，Heiner 舉出無解題，以及換成 Cyrillic 字母就能過的驗證器

Apex

讓 agent 讀檔案再回答問題的 RAG benchmark，資料看起來是合成的

Automation Bench

測 agent 在企業環境裡呼叫工具的 benchmark，驗證器用寫死的字串比對

eval awareness

模型意識到自己正在被測試，讓評測失去意義

Hemingway Bench

Surge 做的寫作評測，由專業寫手盲測比較模型

holdout set

不公開的私有題庫，用來避免污染

提到但沒有展開

• Surge 的立場是不壓成本、追求品質，願意花大錢找好的人；Heiner 說到了 2026 年，模型已經強到非最好的人不可。
• 做醫療 benchmark，光有能回答醫學問題的醫師不夠，還需要懂法規與法律要求的人，因為那會決定該測哪些任務。

評估模型產業觀察

在 YouTube 看原片 ↗