Kimi K3 確實排進全球第三，但慢又費 Token，成本跟 GPT-5.6 差不多。哈利補上網路討論缺的事實，談它強的原因與對各方的影響。
重點
強是真的，但沒那麼好用。哈利認為 Kimi K3 是全球第三強的模型，Artificial Analysis 的 Intelligence Index 是 57 分，高於 Claude Opus 4.8 與 GPT-5.5，略低於 GPT-5.6 的 59 分與 Claude Fable 5 的 60 分。缺點是太慢、Token Efficiency 差，每個工作花的 Token 約是 GPT-5.6 的兩倍，API 單價只有一半，所以平均 Cost Per Task 跟 GPT-5.6 差不多。
差距不是一個月。有人說 Kimi K3 只落後 Anthropic 一個月，哈利說這個解讀絕對錯誤。中國公司從訓好模型到上架比美國快很多，他估計實質差距大約半年，甚至更短，但不像以前是八個月以上。
蒸餾不是主因。哈利列的三個原因是模型尺寸、架構創新、RL。他的理由是 Kimi K3 在前端程式的 Front End Code Arena 比 Fable 高分，而且 GPT-5.6 與 Fable 5 才開放兩個禮拜，來不及蒸餾；agent 時代的長時間任務也很難靠蒸餾學會。蒸餾對 Moonshot 的價值是省時間與算力。
兩項架構創新。Kimi Delta Attention 用固定大小的矩陣壓縮前後文，論文寫在 100 萬 context 下 KV cache 最多可減少約 75%。Attention Residual 讓 Residual Connection 也套用注意力，論文說同樣達標只需約 80% 的算力。哈利提醒這兩項都是先前發過論文的技術，K3 的技術報告之後才會出。
假設成立時誰受益。哈利先說現況不符合「便宜又好用」的假設，再設想未來真有成本只有最強模型 10% 的開源模型。他預期 AI 使用會變成混合式，閉源公司定價權被削弱，一般企業與消費者最賺。
看多半導體與記憶體。他認為開源與閉源競爭會讓整體算力需求擴大，對 NVIDIA 與記憶體都是好事，自己還沒賣美光；但也強調長期看好不等於短期一定漲。
時間軸 點時碼從那一段開始
- Kimi K3 登場Moonshot AI 發表 Kimi K3，哈利說它是全球排名第三的模型，打敗 Opus 4.8 與 GPT-5.5，而且即將開源。
- 要補的邏輯與事實兩種常見說法他都不同意：說成本不到十分之一，以及說只是蒸餾 Claude 與 GPT。後面分三題：強不強、為什麼強、影響是什麼。
- 真的是第三強以 Intelligence Index 與實測為據，Kimi K3 與 Opus 4.8、GPT-5.5 同等級，小輸 GPT-5.6 與 Fable 5 一點點，Moonshot 自己也承認體感有落差。
- 網頁版 macOS 模擬有網友用 Kimi K3 做出網頁上的 macOS，App 都能開、能用，連撥號音頻都對；liquid glass 與動畫則做得陽春。
- 要大專案才分得出高下一般使用已感覺不到新模型的差別，要靠數小時的大型 coding 專案才看得出來；皇室戰爭測試在他看來已經飽和。
- 太慢、Token 太費哈利叫它做皇室戰爭，跑了一個小時又快 20 分鐘還沒完，GPT-5.6 只要 16 分鐘；光確認遊戲機制就花 40 分鐘，他猜是走了彎路。
- 成本其實沒有比較低網路共識與 Artificial Analysis 都說 Token 用量約多一倍，單價一半抵掉，Cost Per Task 與 GPT-5.6 差不多。
- 差距真的只有一個月嗎他認為公開可用的模型看起來差一兩個月，實質落後更多：中國公司訓好就上架，Anthropic 一月就有 Mythos、六七月才推出，OpenAI 內部也一定有更大的模型。
- 蒸餾不是主因先給三個原因，再用「某些領域勝過老師」與「新模型才開放兩個禮拜」兩個事實反駁蒸餾說。
- agent 時代很難蒸餾2023、2024 年的 chatbot 靠學回話就能蒸餾；要做半天的長任務，軌跡無限多，還是得建立自己的 RL 能力，蒸餾主要解 Cold Start Problem。
- 原因一：尺寸最大2.8 兆參數的 MoE，896 個專家每次啟用 16 個，是有史以來最大的開源模型；他認為 scaling law 還活著。
- 中國跑得動嗎官方建議至少 64 張 GPU 的機櫃，但 NVL72 禁售中國，H200 一個 scale-up domain 最多 8 顆，哈利猜 Blackwell 走私量不小，也用到國產晶片。
- 原因二：Kimi Delta Attention以固定大小的 recurrent state 取代隨前後文變長的 KV cache，新的 Token 只把新資訊壓縮進去；哈利用阿根廷進決賽的兩句標題說明重複資訊不必多存。
- 混用與省下多少壓縮一定會掉資訊，所以與完整注意力混用，先前論文測的比例約 3 比 1，完整注意力那部分用 DeepSeek 的 MLA；論文寫 100 萬 context 下 KV cache 最多省約 75%。
- Attention Residual讓 Residual Connection 也用注意力挑出重要的層，避免前面的資訊被稀釋；論文說同樣達標只需 80% 的算力。
- 原因三：RLMoonshot 的 RL 資料、環境與訓練框架一定做得很好；哈利猜資料走 Meta 式的人工設計路線，但細節外界不知道。
- 遞迴自我改進的線索Kimi K3 早期版本參與了最終 K3 的 kernel 開發；GPT-5.6 Sol 也 post-train 了 Luna。他認為這算廣義的 RSI。
- 估值與供應鏈的疑問Anthropic 估值已一兆美元，Moonshot 是 315 億，Anthropic 是 30 倍；NVIDIA 與美光股價又在跌，大家問是不是 K3 造成的。
- 假設情境與現況假設有智能 90% 到 95%、成本只有 10% 的開源模型；但他說 K3 成本和 GPT-5.6 差不多，現在不符合，也沒多少人會為它放棄 GPT-5.6。
- 混合式 AI 成為常態重要步驟交給最強的閉源模型，簡單的給便宜開源，最簡單的在地端跑；Harness 裡會有 Agent Router。目前還在實驗期，所以大家都用最強的。
- 閉源公司沒那麼慘定價權與 margin 會被削弱，但 Jevons Paradox 讓整體用量可能不降反升，也能靠 ChatGPT、Codex 等產品留住客戶；開源真超越時中國也會轉閉源。
- 企業與消費者最賺價格下降、免費額度增加；企業還能擺脫對閉源實驗室的依賴，保護商業機密。他說不論自己部署，或跟 AWS 與美國的 neocloud 買 API，模型都在美國的資料中心，資料不會跑到中國。
- 硬體與記憶體哈利非常看多：算力需求擴大，NVIDIA 客戶更多元，記憶體至少三年內仍會短缺，Kimi Delta Attention 省記憶體他不擔心。
- 長期看好不等於短期會漲他說短期漲跌沒有人預測得到，能下注的是長期趨勢向上；粉專上有人買了跌就來問，讓他很頭痛。
值得記的話
▶ 06:21「現在的 AI 模型已經沒有在只靠蒸餾了」
▶ 12:33「一般人的正常使用已經完全感覺不到最新的模型到底強在哪邊了」
▶ 18:47「你根本就不會想用一個成本一樣但是又更笨然後又更慢的模型」
▶ 25:52「最主要的價值其實是幫他們省時間省算力而已」
▶ 1:07:26「我真的是長期非常看好半導體產業長期看好不代表它短期一定會漲」
名詞與人物
- Kimi K3
- Moonshot AI 的新模型，2.8 兆參數的 MoE，即將釋出權重，哈利評為全球第三強。
- Moonshot AI
- 月之暗面，開發 Kimi 的中國 AI 公司，估值 315 億。
- Artificial Analysis Intelligence Index
- 綜合多項 Benchmark 的指數，哈利說一直以來和實際狀況很接近。
- 蒸餾
- 用強模型的輸出訓練另一個模型；哈利認為對 K3 只是省時間與算力。
- Kimi Delta Attention（KDA）
- 用固定大小的 recurrent state 壓縮前後文，讓 KV cache 不隨長度增加。
- KV cache
- 算注意力時存在記憶體裡的 Key 與 Value 中間產物，context 越長越大。
- Attention Residual
- 把注意力機制用在 Residual Connection 上，讓後面的層只關注重要的前面層。
- Expert Parallelism
- 把 MoE 的專家平均分散到多張 GPU 上；切成 64 份時每張放 14 個專家。
- NVL72
- NVIDIA 整櫃 72 張 GPU 以 NVLink 連結的機櫃，哈利說禁售中國。
- RSI
- recursive self-improvement，AI 讓下一代 AI 變得更強的自我迭代。
- 混合式 AI
- 一個流程裡依步驟難度，把工作分給閉源、開源或地端模型。
- Jevons Paradox
- 技術變便宜之後，整體用量反而增加（傑文斯悖論）。
延伸
- 哈利提到 EP146 為了講 Cerebras，詳細講解過 KV cache 的儲存量。
- Attention Residual 所屬的 Residual Connection，他在 EP121 講 DeepSeek 的 mHC 時談過。