DeepSeek 新年發了一篇談殘差連接的論文。哈利從神經網路的歷史講起，拆解 mHC 的做法與實驗結果，再說明他為什麼認為這是紮實的優化，而不是改變一切的突破。
重點
哈利的整體判斷。他認為 mHC 不會完全改變 AI 的發展，也帶不到 AGI，但是很有價值的優化，各家公司若全面採用，可能省下數百萬甚至上千萬美金。
殘差連接是出發點。2016 年的論文提出殘差，每層多一條不經運算的捷徑。哈利說現在幾乎所有 AI 模型都用它，模型才訓練得起來。
字節跳動的 Hyper-Connections。2024 年字節跳動發表，把輸入向量複製四次成矩陣，中間加可學習的矩陣來調節。據哈利轉述，字節的結論是模型更聰明、算力提升不多，但哈利指出訓練穩定性是它的問題，他認為這是過去兩年開源模型沒採用的原因。
mHC 的做法與論文結果。DeepSeek 把那個矩陣約束成雙隨機矩陣，並做了迭代次數、kernel 與重算上的工程優化。論文在 27B 模型上，訓練時間增加 6.7%，8 個 benchmark 全部贏過傳統殘差。
哈利的預測與保留。論文剛出不到七天，他說還沒看到社群重現的結果。如果屬實，他猜下一代 DeepSeek（可能是 V4）會用，西方也會跟上。
對「中國只會優化」的看法。哈利舉 GRPO 與學術會議上的中國論文，反駁這個說法，並認為 DeepSeek 把優化一併做完，與算力資源有關。
時間軸 點時碼從那一段開始
- 新年近況與 DGX Spark哈利說跨年在家玩樂高，過去一週最開心的是開箱 NVIDIA 送的 DGX Spark，128GB 記憶體，台幣好像 14 萬。
- 冷清的一週與新論文他說科技圈是 Slow News Week，但 AI 研究圈有 DeepSeek 新年發的 mHC 論文，在論文排行榜上這週第一名，遠甩第二名。
- 先講結論哈利認為它不是超級大的 Game Changer，是非常有價值的優化，未來可能改變主流做法。
- 預告這集很硬他想成為至少在台灣第一個深入剖析這篇論文的節目；技術太硬的話，可以直接拉到時間軸最後聽較高層次的討論。
- 神經網路前史2000 年初很少人研究神經網路，2012 年 AlexNet 證明 GPU 能算 AI，也證明網路越深越強。
- 網路做深的難處梯度爆炸、梯度消失，以及模型忘記最初的輸入，當時做到約 20 層就已經非常極限。
- 殘差連接2016 年的論文提出在層與層之間多一條不經運算的捷徑，把乘法變成加法，模型只需學「還差多少」。
- 接力修圖的比喻50 個設計師接力修圖：沒有殘差像大家直接改同一張圖，有殘差則像草圖永遠在底下、每人只疊一層透明紙。
- 殘差的缺陷與 HC2024 年字節跳動發表 Hyper-Connections。哈利說殘差有表徵崩潰的問題：深層的訊號太弱，被原始訊號蓋過。
- HC 怎麼做把輸入向量複製四次排成矩陣，中間加可學習的矩陣，像四條水管加調節器，背景訊號太強時可以自己學著調弱。
- HC 的代價與訓練不穩輸入變四倍，加上注意力的 N 平方會很恐怖，字節先壓成向量再放大，結論是模型更聰明、代價不高。但 HC 又把加法變回乘法，訓練不穩，哈利推斷這是它沒被採用的原因。
- mHC 的核心DeepSeek 把那個矩陣變成雙隨機矩陣：每行每列的和都是 1、元素非負，不管乘幾次都不會太大或太小。
- 實作與工程優化學完再調成雙隨機矩陣，迭代演算法固定最多跑 20 次，自己手寫 CUDA kernel 融合，前向傳播丟掉中間結果、反向再重算以省顯存。
- 實驗結果同一模型比較三種做法：mHC 與傳統殘差一樣穩，Loss 降低 0.021；27B 模型多花 6.7% 訓練時間，8 個 benchmark 全勝。
- 保持懷疑與預測哈利說論文不到七天、尚無社群重現，但 DeepSeek 紀錄良好，他猜下一代 DeepSeek 會用 mHC，西方也會跟進。
- 中國只會優化嗎他反駁這個誤解，舉 GRPO 與 NeurIPS、CVPR 上的中國論文；DeepSeek 把優化做完，與算力資源有關。
- 架構創新的長遠價值他說 mHC 是 Macro-Architecture 層級的研究，與殘差同等級；若成立，受益的是所有 AI，而不只是大型語言模型。
- 接下來看 V4哈利猜 DeepSeek V4 快出了，有一定機率直接用 mHC，也可能預訓練已開始而來不及；並引黃仁勳說中國只落後美國 nanoseconds。
值得記的話
▶ 08:01「它技術本身不會是一個超級大的 Game Changer」
▶ 08:21「但它是一個非常有價值的一種優化」
▶ 19:27「我覺得真的可以說是近代 AI 歷史中，最關鍵的概念之一」
▶ 52:20「絕對是紮實的有感進步有意義的進步」
▶ 55:58「他們如果沒有做優化的話他們基本上也推不出 mHC」
名詞與人物
- mHC
- Manifold Constrained Hyper-Connections，DeepSeek 新論文提出的架構，把 Hyper-Connections 的矩陣約束成雙隨機矩陣。
- 殘差連接
- 每層多一條不經運算、直接傳到下一層的捷徑，2016 年論文提出，哈利說幾乎所有 AI 模型都有用。
- Hyper-Connections
- 字節跳動 2024 年的論文，把輸入複製成四個向量排成矩陣，中間加可學習的矩陣來調節。
- 梯度爆炸／消失
- 層層相乘使梯度過大或趨近零，網路因此難以訓練。
- 表徵崩潰
- 深層的輸入與輸出幾乎一模一樣，哈利說是原始訊號蓋過了新增的訊號。
- 雙隨機矩陣
- 每行每列和都是 1、元素非負的矩陣，不管乘幾次都不會乘出太大或太小的數字。
- Sinkhorn
- DeepSeek 用來把矩陣調成雙隨機矩陣的迭代演算法：輪流把每一行、每一列除以總和，反覆逼近。
- Kernel Fusion
- 把 20 次迭代融合進一個 CUDA kernel，資料留在 GPU 暫存器，不必反覆讀寫 HBM。
- 梁文鋒
- 哈利提到他是 DeepSeek 創辦人，並已列名在這篇論文上。
延伸
- 哈利提到 DeepSeek 去年新年前後的節奏：V3 之後過一兩個月的農曆新年推出 R1。
- 他說 R1 那篇論文提出的 GRPO 增強式學習演算法，現在西方也很主流。