先聊 Claude 3.5 Sonnet 與 Artifacts 的好用和限制，再從 RNN 一路推到 Mamba，講 SSM 為什麼有機會挑戰 Transformer。
重點
Artifacts 是酷功能，不是生產力工具。程式碼會獨立放在一個視窗，前端程式碼還能直接顯示成頁面。哈利認為它適合做互動式筆記、原型和一次性的小 App，但不能直接改程式碼、一次只能處理一個檔案，對已經用 AI 寫程式的前端工程師幫助有限。
Transformer 的硬傷是運算量。自注意力的運算量隨文章長度平方成長，長度變 8 倍，運算量變 64 倍。SSM 的複雜度接近線性，如果各種規模都能追平 Transformer，現有的大型模型都得重新訓練。
SSM 已經有兩次成績。AI21 Labs 的 Jamba 是 SSM 與 Transformer 的混合模型，表現相當或略好，生成速度是同級模型的三倍；Cartesia 的 Sonic 是文字轉語音模型，平均延遲 135 毫秒。
SSM 其實是 Linear RNN。RNN 逐字處理、無法平行訓練，還有梯度爆炸與消失的問題。Linear RNN 兩個問題都解決了，SSM 就是 Linear RNN 加上不同的權重初始化方式，Mamba 再讓每個輸入使用不同的權重。
Mamba 的實驗結果有但書。論文裡推論速度至少快五倍、表現也不輸 Transformer，但哈利指出比較對象都是早期模型，說服力有限。
哈利的三個看法。混合架構可能成為趨勢；SSM 短期會先從聲音這類資訊較稀疏的模態切入；邊緣運算也很適合。後兩點他引自 Albert Gu 的訪談。
時間軸 點時碼從那一段開始
- 為什麼這週聊 SSM這是一種還沒確定會不會成功、但成功就會改變一切的技術。平常有大新聞就先講大新聞，這週沒有，剛好適合聊。
- Claude 3.5 Sonnet 發表Anthropic 自己的 Benchmark 說它是最強模型，Chatbot Arena 上仍是 GPT-4o 略高。哈利判斷兩者同等級，誰好大家自由心證。
- Artifacts 是什麼寫出來的程式碼放進獨立視窗，HTML、CSS、JavaScript 這類前端程式碼會直接顯示成頁面，例如叫它寫一個小遊戲就能當場玩。
- 應用一：互動式筆記把長財報或論文變成分頁、圖表、可操作的按鈕拉桿，還有小測驗。哈利說這比請 ChatGPT 條列重點有用得多。
- 應用二：網頁原型前端工程師可以快速做出原型、反覆改版，也能丟一張理想頁面的圖給它參考。但實際開發不會用它，哈利認為有沒有它的生產力差異不大。
- 應用三：生活小 App例子有 Anthropic 員工做的書桌螢幕規劃 App，以及過年打麻將用的籌碼記錄。這類小 App 賺不了錢、沒人會特地開發，現在一個 Prompt 就做得出來。
- 缺點與前端已死的說法不能直接改程式碼，改一行也要整篇重寫；只能跑單一檔案，沒有終端機。哈利說這些不是設計目標，他提這段是因為看到「前端已死」的誇張言論。
- Transformer 的硬傷主流模型都是 Transformer，運算量隨文章長度平方成長：8 倍變 64 倍，1000 倍變 100 萬倍。SSM 的複雜度接近線性，成功的話所有大型模型都要重訓。
- Mamba 之後的實驗：JambaMamba 論文去年底出來後開始爆紅，多數實驗是 1B 到 3B 的小模型。三月 AI21 Labs 的 Jamba 是大規模嘗試：52B 參數、啟用 12B，SSM 與 Transformer 層約 8 比 1。
- Cartesia 的 Sonic文字轉語音模型，平均延遲 135 毫秒，文字錯誤率低兩倍。創辦人之一 Albert Gu 是 SSM 的始祖，哈利說前幾天聽了他的訪談，是這週講 SSM 的部分原因。
- 怎麼理解 SSMSSM 源自控制理論，正規推導很難。哈利改循一位 YouTube 創作者的路線，從 RNN 出發推到 SSM，數學部分略過。
- RNN 與 Transformer 怎麼接龍以填空為例：Transformer 整句一次吃進去、為每個字算注意力分數；RNN 一個字一個字讀，邊讀邊更新 hidden state，用最新的記憶預測下一個字。
- 兩者各自的弱點Transformer 能平行處理，才撐得起大規模預訓練；RNN 每步運算量不變，理論上沒有長度上限，但只能逐字算、訓練不下去。
- RNN 的梯度問題同一組權重反覆相乘，大於 1 會爆炸、小於 1 會消失，權重怎麼調都到不了最佳值。
- LSTM 與 Linear RNNLSTM 只解決梯度問題，沒解決平行訓練。Linear RNN 把記憶更新換成線性運算，讓各步驟可以一起算，再把權重初始化接近 1 來穩定訓練。
- SSM 與 MambaSSM 就是 Linear RNN，只是權重初始化不同。Mamba 再加兩項改進：每個輸入用不同的權重，以及針對 GPU 記憶體配置的訓練方式。
- Mamba 的實驗成績推論速度至少快五倍，複雜度線性上升，表現也不輸同參數的 Transformer。
- 比較對象不夠新論文拿來比的是很早期的模型和哈利沒看過的 Benchmark。他說如果改和 Gemma 2 比、用 MMLU，會更有說服力。
- SSM 的未來：混合與模態哈利認為混合架構可能是趨勢，因為 Mamba 的記憶會壓縮、丟掉資訊，Attention 則不壓縮。SSM 也可能先從聲音這類資訊稀疏的模態切入，而非直接挑戰文字。
- 邊緣運算Albert Gu 在訪談中反覆提到邊緣運算，因為 SSM 算得快、佔記憶體少；他的夥伴還在 MacBook 上現場展示 Sonic 的低延遲。
值得記的話
▶ 03:42「還不確定會不會成功但是一旦成功了就會改變一切的那種技術」
▶ 13:07「讓它變成只是一個酷功能而不是一個大幅提升生產力的工具」
▶ 25:31「你不用密切的去追蹤他啦但是你至少要在你的雷達裡面有放這個東西」
▶ 47:12「老實說這種比較其實好像不是很公平」
名詞與人物
- Claude 3.5 Sonnet
- Anthropic 的第 3.5 代中階模型，Anthropic 自己的 Benchmark 說它在不少項目上高於 GPT-4o。
- Artifacts
- Claude 的新功能，把程式碼放進獨立視窗，前端程式碼可直接顯示成頁面。
- SSM
- State Space Model，與 Transformer 不同的神經網路架構，複雜度接近線性。
- Transformer
- 現在主流大型模型的架構，自注意力運算量隨文章長度平方成長。
- RNN
- Recurrent Neural Network，逐字讀入並更新 hidden state 的架構，沒辦法平行訓練。
- Linear RNN
- 把記憶更新換成線性運算的 RNN，解決了平行訓練與梯度問題；哈利說 SSM 就是它。
- Mamba
- 去年底讓 SSM 爆紅的論文與架構，讓每個輸入使用不同的權重。
- Jamba
- AI21 Labs 的 SSM 與 Transformer 混合模型，52B 參數、啟用 12B。
- Cartesia / Sonic
- Cartesia 是 Albert Gu 共同創辦的公司，Sonic 是它的文字轉語音模型。
- Albert Gu
- SSM 的始祖，哈利前幾天聽了他上 podcast 的訪談，是這週講 SSM 的部分原因。
- 梯度爆炸與消失
- 權重反覆相乘導致梯度過大或趨近零，使 RNN 難以訓練。
延伸
- 哈利說 Flash Attention、Group Query Attention、KV Cache 這些優化 Attention 的方法這集先不談。
- 他把 Mamba 在 GPU 記憶體（SRAM 與 HBM）上的訓練方式稱為另一個兔子洞，這集沒有展開。