哈利先談 Loop 為何成為 AI Coding 的新詞、Google 一週內走了兩位重量級研究員,再拆解 GLM-5.2 如何以較小的模型逼近前沿。
重點
Loop 是下一層抽象。Loop 就是「目標加上達成前要反覆做的事」,交給 AI agent 自己跑到完成。哈利認為現在太貴、太早,但軟體工程一路往更高的抽象層走,Loop 會是未來。
基本功比工具重要。被大學生問到該學什麼,哈利的答案是把基本功學好,工具會變,問題的本質不變。他認為程式教育該從高層次的核心概念開始,再立刻用 AI 做出完整的 App。
Google 一週失去兩人。Noam Shazeer 去了 OpenAI,John Jumper 去了 Anthropic。網路上有「沒差」與「末日」兩派,哈利認為真相在中間,要看 Gemini 接下來能不能維持追趕的速度。
GLM-5.2 是真貨。在 Frontier Suite 上拿 74.4%,只比 Opus 4.8 的 75.1% 低一點、高於 GPT-5.5 的 72%。哈利實測體感落在 Opus 4.6 到 4.7 之間,明顯贏過所有 Gemini 模型。
便宜的原因不只是模型小。750 Billion 參數、每次只動用 40 Billion,加上 Index Share、MTP 與 KV Cache 的一整套優化,讓 context 拉到 100 萬而 API 價格不變。但工程師的共識是,算 effective cost 只比 Opus 4.8 低 20% 到 30%。
哈利被打臉,但守住一半。他把中國落後西方的估計從八個月改成約四個月,同時仍認為要做出 Mythos 等級,得訓練一個真的很大的模型。
時間軸 點時碼從那一段開始
- 世足與短影音閒聊哈利自稱四年才看一次的一日球迷,感嘆過去四年被短影音縮短了注意力,世足熱度卻不減反增。
- 本集三個題目主打智譜的 GLM-5.2,前面先聊 Loop Engineering 與 Google 人才出走;哈利說科技浪介紹的新模型,背後一定有重大意義。
- 收購 CursorSpaceX 決定以全股票 600 億美元收購 Cursor。哈利認為這是 good deal,Cursor 的模型訓練能力是真的強。
- Loop 為何爆紅六月 Claude Code 的發明者 Boris Cherny 與 Peter Steinberger 同一週都提到 Loop:不再下 prompt,改成設計 loop。
- Loop 是什麼目標加上達成前要反覆做的事。以「讓所有測試通過」為例,再延伸到從 Python 改寫成 Rust 的大 Loop 套小 Loop。
- Loop 還太早agent 會鬼打牆、狂燒 token,一般人寫一兩個簡單的 Loop 就可能燒光 Claude Code 的 weekly budget。哈利說兩位推手沒有 Token Budget,有點不知民間疾苦。
- 抽象層與反對聲音回應成本太高、agent 不勝任、放任 AI 不放心這幾種反對意見:軟體工程的歷史就是不斷提高抽象層,過去四年經歷了四波。
- 成本會降下來哈利列出模型架構、推論引擎、serving 系統、晶片,以及模型更少 retry,認為成本不會是長期問題。
- 基本功與程式教育回答大二升大三聽眾的迷惘:基本功最重要。程式課應該先教前端後端、Full Stack App 的運作與 Tech Stack,再用 AI 做出完整的 App。
- Noam Shazeer 離職他是 Transformer 論文共同作者之一,Google 花 27 億美元把他請回來。有人猜是 OpenAI 要 IPO,哈利覺得那是因素之一,但他自己亂猜更可能跟 Google 的工作文化有關。
- 研究員買單的敘事John Jumper 去 Anthropic。哈利認為不少研究員是被 Anthropic 的使命說服,且它是人才流失最少的 AI 公司。
- Dario 與政府哈利認為 Anthropic 相信自己講的話,問題是 Dario 要政府講他的語言,與美國政府兩次衝突都是同一種模式。
- 傷得多深網路上有「沒差」與「末日」兩派,哈利認為真相在中間,關鍵看 Gemini 接下來的表現;他還不會賣 Google 股票。
- 發表與價格GLM-5.2 來自智譜(Z.AI),上週一推出就爆紅。API 價格比 Opus 4.8 與 GPT-5.5 便宜數倍。
- 可信的測試哈利不信多數 Benchmark,但看重 DeepSuite 與 Frontier Suite;他原本以為中國模型不敢跑,結果智譜真的跑了而且分數很高。
- 實測體感體感與 Benchmark 差不多,落在 Opus 4.6 到 4.7 之間,贏過所有 Gemini 模型。前三名變成 Anthropic、OpenAI、智譜。
- 模型規格750 Billion 參數的 MoE,每次推論動用 40 Billion;以前沿模型來說很小,這是 API 成本低的原因之一。
- 看實際成本要比的是 effective cost 而不是 API cost。工程師共識是比 Opus 4.8 低大概 20% 到 30%,哈利自己實測也覺得 GLM-5.2 花的時間長很多。
- 百萬 contextcontext 從 200K 到 100 萬,API 價格不變。哈利解釋長 context 為何貴:注意力運算是大 O 的 N 平方,context 兩倍、算力四倍。
- 省下注意力運算DeepSeek Sparse Attention 先用 Lightning Indexer 篩出重要的 Token;智譜再讓相鄰四層共用結果,100 萬 context 下 per token 的 flops 降低 2.9 倍。
- MTP 預測解碼一次預測多個 token 做 Speculative Decoding。哈利拿它和傳統的草稿小模型比,接受率高得多,智譜自己的數字是猜 7 個通常中 5 個以上。
- 智譜的 MTP 改良降低草稿成本、提高接受率:Index Share、KV Share、parameter sharing。原本 7 個 token 只接受 4 個,現在接受 5 個。
- 記憶體優化100 萬個 Token 的 KVCache 很吃記憶體;智譜做了 Layer Split、改寫 kernel,以及系統層的優化。
- 中國落後幾個月哈利承認被打臉,估計從落後八個月改成約四個月。馬斯克在 X 上回覆認為中國明年 Q1 才做得出 Mythos;哈利覺得 GLM-5.2 沒有那麼 Benchmark Max,但 Mythos 是另一個等級,要追上得訓練真的很大的模型。
- 開源與閉源開源模型可透過 Neo Cloud 使用。哈利同意 Gavin Baker:90% 的價值被前沿模型吃掉,開源佔大部分用量,GLM-5.2 不會改變這件事。
值得記的話
▶ 19:06「軟體工程的整個歷史就是一直在不斷的移動到更高的抽象層」
▶ 44:15「真的就是一個人可以差這麼多」
▶ 53:17「你要比的是 effective cost,不是 API cost」
▶ 1:19:37「你會被你的這個 Base Model 的智能天花板給綁住」
▶ 1:21:32「在真正有價值的工作上,你都會想用最好的模型」
名詞與人物
- Loop
- 目標加上達成前要反覆做的事,由 AI agent 自己執行到目標達成;可以大 Loop 套小 Loop。
- 智譜(Z.AI)
- 做出 GLM-5.2 的中國 AI 公司,英文名改成 Z.AI。
- GLM-5.2
- 750 Billion 參數的 MoE 開源模型,每次推論動用 40 Billion,支援 100 萬 context。
- Cursor
- AI Coding 工具公司,用 Kimi K2.5 訓練出 Composer,節目說 SpaceX 以全股票 600 億美元收購。
- Mythos
- Anthropic 因安全考量沒有釋出的模型,哈利拿來當作比 Opus 4.8 更高一級的標竿。
- Frontier Suite、DeepSuite
- 哈利認為目前最有參考價值的兩個 Coding Agent Benchmark,測長時間的 agentic 任務。
- effective cost
- 實際用模型完成一個任務的真實成本,不是 API 單價。
- DeepSeek Sparse Attention
- 先用 Lightning Indexer 篩出重要 Token,再只對它們算注意力的技術。
- Index Share
- 智譜的改良:相鄰四層 Transformer 共用同一次 Indexer 的結果。
- MTP
- Multi-Token Prediction,模型一次預測多個 token,這集用來做 Speculative Decoding。
- Speculative Decoding
- 先猜一段答案,再讓大模型一次驗證、接受前面一致的部分,省下逐字生成的算力。
延伸
- 哈利說前面幾集聊過中國 AI 的進度,這集是回頭修正當時的估計。
- DeepSeek Sparse Attention,哈利說科技浪之前也介紹過。
- Gavin Baker 那集 podcast 的觀點,哈利只用來支持自己的看法,沒有展開。