路透社與 The Information 的報導讓大家懷疑 AI Scaling 撞牆了。哈利先用各家模型的發布間隔檢查，再花大半集講一篇新論文提出的量化瓶頸。
重點
停滯的說法來自兩篇報導。路透社引了 Ilya Sutskever 說 Scaling Law 有點停滯的跡象；The Information 的爆料說 OpenAI 的 Orion 訓練完，進步沒有 GPT-3 到 4 那麼大，某些方面甚至退步。
模型延遲還看不太出來。哈利把 OpenAI、Google、Anthropic、Meta 的發布時間排開來看，結論是 OpenAI 可能有一點點延遲，其他家看不到。他認為下一代本來就要一年到一年半。
相信與懷疑的陣營。奧特曼和 Dario Amodei 都認為 Scaling Law 會持續，Noam Brown 也說自己被媒體斷章取義。哈利說目前懷疑的聲音只有 Ilya 那一句，而且 Ilya 的份量很重。
量化瓶頸是這禮拜才出現的新論點。論文 Scaling Laws for Precision 發現，預訓練用的資料越多，之後量化造成的退化越嚴重；訓練精度也只能降到 8 bit 左右。
哈利的判斷。這篇論文不算否決 Scaling Law，但增加了難度，Meta 單靠加訓練資料的路線等於被宣告死亡，不過 model distillation 還行得通。資料、能源、財務他都不覺得是太大的問題。
總結。哈利覺得 AI Scaling 應該會持續，也就代表 Anthropic 和 OpenAI 預測的 AGI 可能在未來 3 到 4 年內到來。
時間軸 點時碼從那一段開始
- 黑神話悟空與拳賽哈利剛在 PS5 上玩黑神話悟空，美術無可挑剔，但沒有地圖、第二章難度突然拉高，已經有點想放棄。週末的 Tyson 對 Jake Paul 他覺得很難看，Tyson 後面幾局幾乎只是走路，他認為八成是作秀。
- Scaling 為什麼重要說明 Scaling Law 是觀察到的現象而非物理定律，AI 公司建資料中心就是在賭它持續，AGI 時程預測也都從它外推。
- 兩篇報導路透社引用 Ilya 的說法；The Information 的匿名爆料說 Orion 前 20% 算力就追上 GPT-4，後面 80% 幾乎沒有再進步。
- 發布間隔查核依序比較 OpenAI、Google、Anthropic、Meta 兩代模型間隔，結論是只有 OpenAI 可能開始延遲。
- 專家怎麼想奧特曼、Dario、Noam Brown 站在會持續那邊；Ilya 是唯一被引用說停滯的人，哈利說他不確定這句有沒有被斷章取義。
- 幾道常見的牆資料、算力（能源、財務、晶片）和模型本身的天然上限，哈利說最後一個沒有根據，不深究。
- 量化瓶頸登場這是根據當週新論文提出的論點，Tim Dettmers 在 X 上說這是他近期看到最重要的論文。
- 論文與 Scaling Law 演進從只看模型大小，到 Chinchilla 要求資料量與參數量一起放大，再到 Llama 過度訓練；這篇把精度也放進公式。
- 量化是什麼降低每個參數用的 bit 數：16 bit 降到 8 bit 模型大小減半，降到 4 bit 再減半，消費級裝置才跑得動。
- 論文第一個發現預訓練資料越多，量化後變笨越多。哈利以 Llama 2 與 Llama 3 說明，並說 Meta 的路線被宣告死亡。
- 8 bit 的下限訓練精度大約降到 7、8 bit 就是最佳，不能再往下；之後只能指望摩爾定律。model distillation 仍然可行。
- 資料瓶頸快問快答合成資料（尤其 coding）、O1 的 self-play 式強化學習，以及多模態資料，讓哈利覺得資料不會是大問題。
- 能源瓶頸科技巨頭紛紛投入小型模組化核能或重啟舊核電廠，哈利認為核能復蘇就是因為 AI，能源應該沒有太大問題。
- 整集看法目前沒有明顯延遲，GPT-5 或 Orion 可能剛開始有一點；模型本身的瓶頸他選擇 no comment。
- 財務與晶片1 Trillion 的資料中心他覺得不太可能，100 Billion 有機會；晶片供應鏈他不熟，所以不評論。
值得記的話
▶ 13:18「它並不是像牛頓的三大運動定律一樣是一個真正的物理的定律」
▶ 24:21「下一代本來就是會需要花更多的時間」
▶ 44:06「你不可能免費把一個模型變得更快更小你一定會犧牲掉一些東西」
▶ 50:25「這篇論文啊不算是否決了 scaling law 但算是增加了它的一點難度」
▶ 58:40「總結我這一整集的看法就是其實我覺得 AI Scaling 應該是會持續的」
名詞與人物
- Scaling Law
- 給 AI 模型更多參數、訓練資料與算力就會更強的經驗現象；哈利強調它不是真正的物理定律。
- Orion
- The Information 爆料中 OpenAI 內部對下一代 base model 的稱呼，外界以為是 GPT-5。
- Ilya Sutskever
- 路透社引用他說 Scaling Law 有停滯跡象；哈利說他是最早看到 Scaling Law 苗頭的人之一，新公司叫 SSI。
- Noam Brown
- OpenAI O1 的 test time compute 專家，說自己被媒體斷章取義，仍相信 LLM 的 Scaling Law 會持續。
- Tim Dettmers
- 哈利口中模型量化領域最受仰慕的專家，說這篇論文是他近期看到最重要的。
- Chinchilla
- Google DeepMind 的 Scaling Law 論文，主張訓練資料量要跟模型參數量一起放大。
- 量化
- 降低模型參數的資料精度（每個數字用幾個 bit），讓模型占用較少記憶體、跑得更快。
- BF16
- 業界訓練大型語言模型常用的 16 bit 資料型態，由 Google 研發，專為 AI 設計。
- Scaling Laws for Precision
- 這集的主角論文，由多所學校與機構合作，訓練四百多個模型，把訓練與推論精度放進 Scaling Law。
- model distillation
- 用很大的模型輸入輸出配對，去訓練較小的模型；哈利說這條路不受論文影響。
延伸
- 哈利說他之前做過一整集談核能（EP58），做完不久科技巨頭就紛紛宣布核能計畫。
- 資料、能源、財務、晶片這幾道牆，哈利說每一道都值得另外花很長的時間討論。