← 所有節目科技浪

2025 · EP118 · OpenAI 系列

GPT-5.2 的強項是做工作

2025 年 12 月 15 日 · 65 分鐘

▶ 收聽這一集

原標題:EP118 - 大家都看錯了?解讀 GPT 5.2 真正的強項

大家都在吵個性和跑分,哈利認為 GPT-5.2 真正的重點是能長時間完成職場任務。他用 GDP Val 和自己的兩個實測來說明,最後談到 Digital AGI。

重點

為什麼沒人理 GPT-5.2。哈利列了三個原因:風向才剛吹向 Google 的 Gemini 3,媒體不愛一直換邊;GPT-5、5.1、5.2 對一般人已經無感;Benchmark 多半是自嗨,還有一堆刷榜的。他一開始也覺得無感。

趕鴨子上架的 Post Training。哈利同意主流說法,認為 5.2 是 OpenAI 為了追上 Gemini 3 趕出來的。他推測它和 GPT-5 是同一個 Base Model,沒有做出更大的模型,只是繼續做 Post Training。主機板辨識的例子,Gemini 3 比 5.2 準得多。

真正的亮點是 Long Horizon Task。哈利猜 OpenAI 專門針對長時間、要做幾百個步驟的任務去調。ARC AGI 2 的成績和變長的 Context Length,他認為都是這個方向順帶出來的次要亮點,代價是個性又變冷漠。

GDP Val 測的是經濟價值。題目取自 44 種職業的真實工作,每題人類專家平均要花約 7 小時,交的是 PPT、Excel、程式碼這類成品,由專家盲選比較。哈利說它很難跑、很貴,隨便一個學術機構做不出來。

勝率很高,但哈利覺得有灌水。GPT-5.2 Thinking 是 70.9%,速度是專家的 11 倍快,成本不到專家的 1%。哈利認為評測方式一定有動手腳,不可能這麼高,但他相信模型獨立完成任務的能力。

他的兩個實測。科技浪的 Sales Kit 簡報,他估大概 70% 可用;特斯拉的 DCF 模型,格式與公式都像樣,算 Robotaxi 營收時卻漏乘 365,把一年算成一天。他由此說知識工作的 Vibe Coding Moment 來了,也重申三年內會有 Digital AGI。

時間軸 點時碼從那一段開始

  1. 同樣的事又上演哈利拿四月的 Gemini 2.5 Pro 相比:當時沒人在意,這次輪到 GPT-5.2,在 X 上搜尋也沒幾個人討論。
  2. 為什麼這麼冷清風向剛轉向 Google,媒體和大家的注意力都不想再換;新模型越來越無感,Benchmark 多半自嗨。
  3. 大家在討論什麼哈利研究後改觀。他說外面 95% 的討論在談 Garlic 有幾個 R、9.9 和 9.1 誰大、個性、ARC AGI 2,他要講的是 GDP Val。
  4. 本集的第二個題目預告 SpaceX 要 IPO:馬斯克本來不想上市,轉念和太空資料中心有關。
  5. 模型是持續訓練的同意「趕鴨子上架」的說法,並解釋預訓練、後訓練、Mid-Training 與 checkpoint,說各家實驗室內部同時有好幾條路線。
  6. 趕出貨的代價隨時能兩三週再推新模型,前提是犧牲安全與全面能力,他舉 xAI 為例。
  7. 同一個 Base Model5.2 不是更大的模型。主機板辨識的比較,GPT-5.2 比 5.1 準,網友拿同一張圖給 Gemini 3,結果全部框對。
  8. 給投資人的交代不直接針對 Benchmark 調,因為有 Meta Llama 4 刷榜被罵的前例。
  9. Long Horizon Task哈利猜 OpenAI 專門為幾小時、幾百步驟的任務做 Post Training;ARC AGI 2 與 Context Length 是衍生亮點,個性變冷漠則是走回頭路。
  10. 什麼是 GDP ValOpenAI 做的基準測驗,題目是真實職場任務,涵蓋美國 GDP 前 9 大產業的 44 種職業,舉了投資銀行、機械工程、醫學研究的例子。
  11. GDP Val 的侷限任務必須全數位化,也比真實職場乾淨。哈利的結論是通過它不代表取代職業,但會成為得力助手。
  12. 很難跑也很貴要專家先做一遍,再由另一批專家盲選比較(Blind Pairwise Comparison),時薪與 API 成本都高。
  13. 專家怎麼找平均 14 年經驗、至少 4 年、要有升遷與管理經驗,還要面試、背調與培訓。哈利認為學術界很難做出來。
  14. 成績與哈利的懷疑Claude Opus 4.1 的 47.6%,到 GPT-5.2 Thinking 的 70.9%,還有速度與成本。哈利認為有灌水,但相信模型有獨立完成任務的能力。
  15. 實測一:Sales Kit給足內容與色票後,模型做了 25 分鐘交出 PPT。有置中與列點的錯,但指令遵循很好,哈利估 70% 可用。
  16. 實測二:特斯拉 DCF先解釋 DCF 模型。成品格式像投行、還自己抓財報並註明來源,但 Robotaxi 營收漏乘 365,算出的估值是 60 塊,而哈利說特斯拉當時股價是 450 塊。
  17. 知識工作的 Vibe Coding Moment70% 的成品加上自己修改就有價值,反駁「做不到 100% 就是零」的看法。
  18. 這是一個 step change多數人還是只用 AI 寫 email、改文字。舊的 ChatGPT Agent 做的 Excel 像資料庫;他認為 5.2 跟 Gamma 這類工具不同等級。
  19. Digital AGI 與三年預測回顧 EP98 的判斷,引 Shane Legg 的 Minimum AGI 與 50% 機率;哈利已為三年內的 Digital AGI 做準備。
  20. 第三方的 GDP Val 排名Artificial Analysis 用 AI 打分器跑 Elo,GPT-5.2 為 1474,Claude Opus 4.5 為 1413,Gemini 3.0 Pro 只有 1207。
  21. Gemini 為什麼低哈利歸因於 Harness 與 Post Training 沒針對長任務調。他預期 Gemini 3.5 Pro 能做得更高,GDP Val 會越來越重要。
  22. 結語與下集預告雜訊裡藏著有價值的資訊;SpaceX 與太空資料中心留到下一集。

值得記的話

  • 「我覺得這次發表最大的一個重點是在於模型的經濟價值的提升」

    ▶ 06:04
  • 「就是我覺得知識工作的 Vibe Coding Moment 來了」

    ▶ 46:55
  • 「AI 能夠產生 70% 的價值,能夠產生 50% 就算只能產生 30% 的價值」

    ▶ 48:38
  • 「我自己個人是已經是完全為三年 Digital AGI 去做準備了」

    ▶ 57:31
  • 「其實有時候就是這些很多的 noise 當中也是藏著一些很有價值的資訊」

    ▶ 1:03:38

名詞與人物

GPT-5.2
OpenAI 在 Gemini 3 之後推出的模型,哈利推測它與 GPT-5 同一個 Base Model,只做了更多 Post Training。
GDP Val
OpenAI 做的基準測驗,用真實職場任務測模型的經濟價值,由專家盲選比較人類與模型的成品。
Long Horizon Task
人類要花好幾小時、幾百個步驟才能完成的任務,哈利認為是 5.2 的訓練重點。
checkpoint
模型訓練中途的一個版本;5.1、5.2 在哈利的說法裡是同一個 checkpoint 往不同方向延伸。
Mid-Training
延續的預訓練,節目說 OpenAI 這樣稱呼。
Blind Pairwise Comparison
評審看不出哪份是 AI 做的,兩兩比較選出較好的那份。
DCF 模型
現金流折現模型,投資銀行用來估算公司值多少錢,節目拿它當第二個實測。
Vibe Coding
用簡單的 Prompt 先產出約七八成完成度的成品,再慢慢調整;哈利拿來類比知識工作。
Digital AGI
哈利自己的定義:能完成數位世界所有工作、做得跟人類一樣好的 AI。
Shane Legg
Google DeepMind 共同創辦人之一,AGI 一詞據節目說是他定義的;他的 Minimum AGI 與哈利的 Digital AGI 定義一樣。
Artificial Analysis
獨立做 AI Benchmarking 的公司,也跑了 GDP Val,用 AI 打分器算 Elo。

延伸

  • 哈利提到 EP98 談過 ChatGPT Agent 是 Digital AGI 的雛形,這集是接續。
  • SpaceX 即將 IPO、為什麼馬斯克轉念,以及太空資料中心,留到下一集。