OpenAI

167 · 評測少了一條預算軸

36:19YouTube 上架 2026-06-26Noam Brown（OpenAI）

Really Big Test-Time Compute in AI Changes Benchmarks, Safety and Research with OpenAI's Noam Brown

Noam Brown 談為什麼模型比較表不能只看一個數字：思考多久、花多少錢會改變結果。也談安全評測、研究自動化的上限，以及前沿實驗室的競爭。

167 講了什麼

• 同一張表比不出差異Noam 說 5.5 剛發表時，因為 benchmark 表上只比 5.4 高幾個百分點，一度被質疑。原因是表上沒有控制 test-time compute，5.5 思考得比較有效率，控制思考時間後差距就很明顯。
• 評測要多一條軸現在的模型在某些 benchmark 上可以思考到數週才進入 plateau，所以要設定 token、成本或時間的預算，或把表現畫成 test-time compute 的函數。至於跑不完的長任務，可以用較小預算的結果去外推大預算，這方面還沒有太多研究。
• 安全評測有同一個洞Noam 說各實驗室的 responsible scaling policies 與 preparedness frameworks 多半是在 test-time compute 還不重要的年代訂的，只問模型的能力，沒問該用多少預算去測。
• 沒人試過模型的天花板新模型約每兩三個月出一次，Noam 說沒有人把模型跑得夠久，所以能力上限沒人知道。例子是 Erdős unit distance conjecture：內部模型用很低的預算就找到反證，事後有人用 5.5 加上引導也做到了。
• 研究還不會被取代Noam 說有些題目給再多運算也沒用，例如查事實；現在的模型也缺乏 research taste。RSI 會是慢慢轉變研究者的工作，不是一夜之間的智慧爆炸，因為時間本身成了瓶頸。
• 該有人先跳出壞均衡研究者都同意 benchmark 該加一條 x 軸，卻因為大家都發表整張表而照舊。Noam 寫文章是希望下次有公司敢不把那張表放在最前面。路由層也一樣：多模型共識可能贏過單一模型，但要先問它有沒有贏過讓同一個模型思考更久。

從哪一段開始看14 段

1. 00:31開場與 5.5 的質疑Sarah Guo 介紹來賓後，Noam 說明寫這篇文章的起因：5.5 發表時的 benchmark 表看不出明顯進步，上手之後評價才翻轉。
2. 02:54控制思考量控制思考時間後，5.5 比 5.4 進步很多；現在的模型能想到數週才 plateau，所以評測要有預算，或把表現畫成運算量的函數。
3. 05:34思考時間要有彈性Sarah 問使用者是不是想得不夠久；Noam 說讓模型想一週不實用，該快就快、該久才久。
4. 06:53benchmark maxing重複跑多次再挑最好的，分數就能變高，但沒有真的更好；Noam 建議保留不公開的測試集。
5. 08:10用 poker bot 試模型Noam 用做撲克機器人來試每一代模型，從 5.2 的 river solver 到 5.5 幾乎一次做出來，也提到 5.2 會硬掰。
6. 11:37安全評測的盲點現行政策只問模型有多強，沒問預算；Noam 說這個問題不是被回答，而是被當作不存在。
7. 14:13發布週期追不上長任務要知道跑一個月、六個月的結果只能真的跑；Noam 提到 /goal 剛推出時，也是過了一週大家才發現它的份量。
8. 17:08已發布模型的潛力內部模型以很低的預算找到 Erdős unit distance conjecture 的反證，之後有人用 5.5 加上引導也做到；OpenAI 內部反而鼓勵數學家與物理學家別把時間都花在逐一試開放問題，重點是做出更強的模型。
9. 21:19預算不是萬能查日期這類事實題再想也沒用，數獨則越久越好；研究面向上，模型能優化演算法，卻想不出更好的新演算法。
10. 25:18RSI 與起飛速度模型加速的是部分工作，Noam 預期是漸進的轉變；因為要跑夠久才能發揮，時間成了瓶頸。
11. 27:06多 agent 與累積知識Noam 以人類文明靠累積知識為比喻，說模型現在每次都從零開始，但已有能大規模協作的跡象。
12. 29:15前沿競爭與日常用法競爭很激烈，但各實驗室都清楚風險；Noam 自己也拿報稅、買房文件這類問題問模型。
13. 31:53為什麼寫這篇文章大家同意該加一條軸，卻都怕不發表整張表；Noam 把這描述成沒人敢跳出來的壞均衡。
14. 33:26路由層與共識Sarah 問做路由與預算分配的公司；Noam 說多模型共識可能更好，但要先控制 test-time compute。

值得記的話5 句

• The problem is we're in a world now where the capability of the model is a function of how much money you put into it.問題是，我們現在身處的世界，模型的能力取決於你砸了多少錢進去12:56

• nobody actually knows what the ceiling of capabilities are for these models because nobody's actually run them for long enough to really tell.沒有人把模型跑得夠久，所以沒人知道能力的天花板16:19

• they don't have very good research taste right now and so I think they're actually a very good complement to researchers它們現在的 research taste 還不太好，所以我覺得它們其實很適合當研究者的輔助；它們指模型23:12

• If it requires so much test time on compute to unlock the full capabilities of the model, then that means you're bottlenecked by time要靠大量 test-time compute 才能發揮全部能力，瓶頸就變成時間26:18

• everybody kind of knows that it's a bad equilibrium, but like nobody wants to break out.大家都知道這是壞均衡，卻沒人想跳出來32:55

名詞與人物9 個

test-time compute

模型回答時花的思考量；Noam 認為比較模型時要把它當成一條軸。

benchmark grid

新模型發表時附的那張表，每個 benchmark 只給每個模型一個數字。

plateau

增加思考量後表現不再上升的點；Noam 說現在的模型要想到數週才會到。

responsible scaling policies / preparedness frameworks

各實驗室發表模型前評估危險能力的政策，Noam 說多半沒把預算算進去。

/goal

Noam 提到的功能，可以讓模型長時間自己跑；剛推出時有人跑了超過一週。

river solver

撲克最後一輪的求解程式，Noam 拿來試每一代模型。

Erdős unit distance conjecture

Noam 說 OpenAI 內部模型找到反證的數學猜想。

research taste

判斷研究方向好不好的品味；Noam 認為模型現在還不夠。

RSI

用模型加速模型研究的循環；Noam 預期是漸進而非一夜爆發。

提到但沒有展開

• 模型硬掰的例子：Noam 拿某一代模型（不是 5.2）做單元測試，問底池有 $100 時棄牌輸多少，模型答 $92，被追問還說差不多、沒關係。
• Sarah 問到做路由的垂直公司時，Noam 說就算路由真的更好，也要看它是否脆弱、是否反映真實使用情境，而不只是對特定 benchmark 最佳化。

在 YouTube 看原片 ↗