模型到現在還是不行的地方

概要

• 曲線向上不是全部Peter 認為大家看到的 benchmark 都是線一直往上，容易讓人覺得模型離 AGI 只差一步，但自己覺得還有不少東西沒補上，所以挑兩種資料來看。
• BullshitBench 測的是會不會拆穿胡扯Peter 把 155 題左右的無意義問題丟給模型，用 LLM as a judge 評分，看模型是直接指出問題不成立，還是順著胡扯講下去。
• 多數常用模型約五五波Peter 說 GPT 與 Gemini 這類常用模型，大約一半機率會順著無意義的問題走；就算被判為合格的，也還是帶著遷就的味道。
• 推理不一定有幫助Peter 說把推理開大就能解的講法，在這份資料上並不成立，推理常常反而更糟；讀 GPT-5.4 的 trace 時，看到模型質疑一句前提之後，仍寫了二十段去解題。
• Arena 的「兩個都不好」投票Peter 把使用者表示兩個回答都不滿意的比例當成不滿意率，頂尖模型之間的這個比例從約 12% 降到約 9%，有進步但不是 0%。
• 各領域進步不一致數學進步很大，專家類的量化題也明顯下降；軟體整體從 23.5% 降到 13%，但遊戲這類子領域 Peter 覺得沒有跟上。

原話

• “it's really, really surprised me how easy it was for the models to just go along complete nonsense questions.”

  真的、真的讓我很意外，模型這麼容易就順著完全沒意義的問題講下去

  ▶ 04:16

• “reasoning often actually goes in reverse and doesn't help, it actually makes it worse.”

  推理常常反過來沒有幫助，甚至會更糟

  ▶ 06:38

• “It's probably the most confusing experience of reading these traces.”

  這大概是讀這些 trace 時最令人困惑的一次，指的是 GPT-5.4 的 trace

  ▶ 07:30

• “I don't think LLMs really get games”

  我不覺得 LLM 真的懂遊戲

  ▶ 18:12

• “It's not just the very frontier gets better, but also the broader distribution gets better as well.”

  不只是最前沿變好，整體分布也要跟著變好

  ▶ 19:24

延伸

• Peter 猜模型會順著胡扯走，是因為訓練時太強調不惜代價解題，很少教它「有時候不要解」。
• Peter 第一次注意到這件事是同時開很多 agent 時：自己忘了哪個 agent 在做什麼，交代錯專案的任務，agent 照樣動手去做。
• 開源模型那張圖，Peter 自己也說樣本不大、沒有結論，這場沒有進一步分析。