大家都在吵個性和跑分,哈利認為 GPT-5.2 真正的重點是能長時間完成職場任務。他用 GDP Val 和自己的兩個實測來說明,最後談到 Digital AGI。
重點
為什麼沒人理 GPT-5.2。哈利列了三個原因:風向才剛吹向 Google 的 Gemini 3,媒體不愛一直換邊;GPT-5、5.1、5.2 對一般人已經無感;Benchmark 多半是自嗨,還有一堆刷榜的。他一開始也覺得無感。
趕鴨子上架的 Post Training。哈利同意主流說法,認為 5.2 是 OpenAI 為了追上 Gemini 3 趕出來的。他推測它和 GPT-5 是同一個 Base Model,沒有做出更大的模型,只是繼續做 Post Training。主機板辨識的例子,Gemini 3 比 5.2 準得多。
真正的亮點是 Long Horizon Task。哈利猜 OpenAI 專門針對長時間、要做幾百個步驟的任務去調。ARC AGI 2 的成績和變長的 Context Length,他認為都是這個方向順帶出來的次要亮點,代價是個性又變冷漠。
GDP Val 測的是經濟價值。題目取自 44 種職業的真實工作,每題人類專家平均要花約 7 小時,交的是 PPT、Excel、程式碼這類成品,由專家盲選比較。哈利說它很難跑、很貴,隨便一個學術機構做不出來。
勝率很高,但哈利覺得有灌水。GPT-5.2 Thinking 是 70.9%,速度是專家的 11 倍快,成本不到專家的 1%。哈利認為評測方式一定有動手腳,不可能這麼高,但他相信模型獨立完成任務的能力。
他的兩個實測。科技浪的 Sales Kit 簡報,他估大概 70% 可用;特斯拉的 DCF 模型,格式與公式都像樣,算 Robotaxi 營收時卻漏乘 365,把一年算成一天。他由此說知識工作的 Vibe Coding Moment 來了,也重申三年內會有 Digital AGI。
時間軸 點時碼從那一段開始
- 同樣的事又上演哈利拿四月的 Gemini 2.5 Pro 相比:當時沒人在意,這次輪到 GPT-5.2,在 X 上搜尋也沒幾個人討論。
- 為什麼這麼冷清風向剛轉向 Google,媒體和大家的注意力都不想再換;新模型越來越無感,Benchmark 多半自嗨。
- 大家在討論什麼哈利研究後改觀。他說外面 95% 的討論在談 Garlic 有幾個 R、9.9 和 9.1 誰大、個性、ARC AGI 2,他要講的是 GDP Val。
- 本集的第二個題目預告 SpaceX 要 IPO:馬斯克本來不想上市,轉念和太空資料中心有關。
- 模型是持續訓練的同意「趕鴨子上架」的說法,並解釋預訓練、後訓練、Mid-Training 與 checkpoint,說各家實驗室內部同時有好幾條路線。
- 趕出貨的代價隨時能兩三週再推新模型,前提是犧牲安全與全面能力,他舉 xAI 為例。
- 同一個 Base Model5.2 不是更大的模型。主機板辨識的比較,GPT-5.2 比 5.1 準,網友拿同一張圖給 Gemini 3,結果全部框對。
- 給投資人的交代不直接針對 Benchmark 調,因為有 Meta Llama 4 刷榜被罵的前例。
- Long Horizon Task哈利猜 OpenAI 專門為幾小時、幾百步驟的任務做 Post Training;ARC AGI 2 與 Context Length 是衍生亮點,個性變冷漠則是走回頭路。
- 什麼是 GDP ValOpenAI 做的基準測驗,題目是真實職場任務,涵蓋美國 GDP 前 9 大產業的 44 種職業,舉了投資銀行、機械工程、醫學研究的例子。
- GDP Val 的侷限任務必須全數位化,也比真實職場乾淨。哈利的結論是通過它不代表取代職業,但會成為得力助手。
- 很難跑也很貴要專家先做一遍,再由另一批專家盲選比較(Blind Pairwise Comparison),時薪與 API 成本都高。
- 專家怎麼找平均 14 年經驗、至少 4 年、要有升遷與管理經驗,還要面試、背調與培訓。哈利認為學術界很難做出來。
- 成績與哈利的懷疑Claude Opus 4.1 的 47.6%,到 GPT-5.2 Thinking 的 70.9%,還有速度與成本。哈利認為有灌水,但相信模型有獨立完成任務的能力。
- 實測一:Sales Kit給足內容與色票後,模型做了 25 分鐘交出 PPT。有置中與列點的錯,但指令遵循很好,哈利估 70% 可用。
- 實測二:特斯拉 DCF先解釋 DCF 模型。成品格式像投行、還自己抓財報並註明來源,但 Robotaxi 營收漏乘 365,算出的估值是 60 塊,而哈利說特斯拉當時股價是 450 塊。
- 知識工作的 Vibe Coding Moment70% 的成品加上自己修改就有價值,反駁「做不到 100% 就是零」的看法。
- 這是一個 step change多數人還是只用 AI 寫 email、改文字。舊的 ChatGPT Agent 做的 Excel 像資料庫;他認為 5.2 跟 Gamma 這類工具不同等級。
- Digital AGI 與三年預測回顧 EP98 的判斷,引 Shane Legg 的 Minimum AGI 與 50% 機率;哈利已為三年內的 Digital AGI 做準備。
- 第三方的 GDP Val 排名Artificial Analysis 用 AI 打分器跑 Elo,GPT-5.2 為 1474,Claude Opus 4.5 為 1413,Gemini 3.0 Pro 只有 1207。
- Gemini 為什麼低哈利歸因於 Harness 與 Post Training 沒針對長任務調。他預期 Gemini 3.5 Pro 能做得更高,GDP Val 會越來越重要。
- 結語與下集預告雜訊裡藏著有價值的資訊;SpaceX 與太空資料中心留到下一集。
值得記的話
▶ 06:04「我覺得這次發表最大的一個重點是在於模型的經濟價值的提升」
▶ 46:55「就是我覺得知識工作的 Vibe Coding Moment 來了」
▶ 48:38「AI 能夠產生 70% 的價值,能夠產生 50% 就算只能產生 30% 的價值」
▶ 57:31「我自己個人是已經是完全為三年 Digital AGI 去做準備了」
▶ 1:03:38「其實有時候就是這些很多的 noise 當中也是藏著一些很有價值的資訊」
名詞與人物
- GPT-5.2
- OpenAI 在 Gemini 3 之後推出的模型,哈利推測它與 GPT-5 同一個 Base Model,只做了更多 Post Training。
- GDP Val
- OpenAI 做的基準測驗,用真實職場任務測模型的經濟價值,由專家盲選比較人類與模型的成品。
- Long Horizon Task
- 人類要花好幾小時、幾百個步驟才能完成的任務,哈利認為是 5.2 的訓練重點。
- checkpoint
- 模型訓練中途的一個版本;5.1、5.2 在哈利的說法裡是同一個 checkpoint 往不同方向延伸。
- Mid-Training
- 延續的預訓練,節目說 OpenAI 這樣稱呼。
- Blind Pairwise Comparison
- 評審看不出哪份是 AI 做的,兩兩比較選出較好的那份。
- DCF 模型
- 現金流折現模型,投資銀行用來估算公司值多少錢,節目拿它當第二個實測。
- Vibe Coding
- 用簡單的 Prompt 先產出約七八成完成度的成品,再慢慢調整;哈利拿來類比知識工作。
- Digital AGI
- 哈利自己的定義:能完成數位世界所有工作、做得跟人類一樣好的 AI。
- Shane Legg
- Google DeepMind 共同創辦人之一,AGI 一詞據節目說是他定義的;他的 Minimum AGI 與哈利的 Digital AGI 定義一樣。
- Artificial Analysis
- 獨立做 AI Benchmarking 的公司,也跑了 GDP Val,用 AI 打分器算 Elo。
延伸
- 哈利提到 EP98 談過 ChatGPT Agent 是 Digital AGI 的雛形,這集是接續。
- SpaceX 即將 IPO、為什麼馬斯克轉念,以及太空資料中心,留到下一集。