Cartesia

070 · 用 SSM 做即時語音

34:09YouTube 上架 2024-06-27Karan Goel & Albert Gu（Cartesia）

No Priors Ep. 70 | With Cartesia Co-Founders Karan Goel & Albert Gu

Cartesia 兩位共同創辦人談 state space model 與 Transformer 的取捨、混合架構，以及為什麼先做低延遲的文字轉語音 Sonic，再把模型推向裝置端。

070 講了什麼

• Sonic 主打低延遲Karan 說 Sonic 是很快的文字轉語音引擎，最受關注的是遊戲角色與 voice agent 兩個場景。Sonic 已經比一般做法省下約 150 毫秒，今年的目標是再砍掉接下來的 600 毫秒。
• SSM 是邊讀邊更新的壓縮狀態Albert 把 state space model 描述成「模糊壓縮」，一邊處理序列一邊更新記憶；處理新 token 的時間是常數，Transformer 則隨看過的歷史變長。
• 不同資料適合不同架構Albert 說早期的 SSM 擅長原始波形與像素，文字不如 Transformer；Mamba 在文字上進步很多。Transformer 的流程（例如 tokenization）也是和它一起演化出來的。
• 混合模型比單用一種好Albert 認為 SSM 該負責大部分處理，attention 負責精確回查。大家發現最佳比例是 SSM 層多、attention 層少，大約 10 比 1，Albert 知道的至少有五組團隊各自驗證過。
• 目標是把模型推到裝置端Karan 認為第二波是效率，同樣的能力現在要花一百萬美元的資料中心，將來可能在邊緣的普通 GPU 上只花 10 美元。
• TTS 還沒解決Karan 的判準是願不願意和它講超過 30 秒；情緒、不同職業的說話方式都還做不好。下一步是更多語言、更多控制、本機即時跑，以及接上對話與推理。

從哪一段開始看16 段

1. 00:05開場與 Sonic主持人介紹 Karan Goel 與 Albert Gu 是 S4 和 Mamba 的作者。Karan 說 Sonic 是很快的文字轉語音引擎，場景是遊戲 NPC 與 voice agent。
2. 01:38Albert 的研究路徑兩人出自 Stanford 同一個博士班實驗室。Albert 從 DeepMind 實習起做序列建模，Transformer 流行時反而選了循環模型，後來有 S4 與 Mamba，今年到 CMU 當教授。
3. 02:57Karan 的背景與合作起點Karan 在印度長大，讀 IIT 後到 Stanford，原本做強化學習，指導教授 Chris Ré 對這個領域有點存疑，Karan 經歷了一段摸索期。後來 Albert 趕 NeurIPS 截稿時把 Karan 找去幫忙 S4，花了兩三週，Karan 就此投入。
4. 05:01SSM 是什麼Albert 說 SSM 源自循環網路：依序處理序列，把看過的資訊壓成會持續更新的狀態，是一種模糊但有用的壓縮。
5. 06:51不同資料適合不同模型早期 SSM 擅長原始波形與像素，文字不如 Transformer，Mamba 在文字上追近很多。Albert 說沒有免費午餐，Transformer 不是丟什麼都行。
6. 09:12效率與線性 scalingTransformer 的 quadratic scaling 是老問題，循環模型處理每個新 token 的時間是常數；但 Transformer 慢，也代表有些事它更會做。
7. 10:13混合模型SSM 當模糊壓縮、attention 當精確檢索，兩者互補；組合起來的模型比各自單用更好，最佳比例大約 10 比 1。
8. 11:48DNA 上的應用多數人還是用在文字。Albert 聽合作者說，有人用 Mamba 型模型做 DNA 的預訓練，下游任務包括分類，例如點突變的影響，但 Albert 不熟細節。
9. 13:04為什麼先做語音兩人想展示模型的通用性。Karan 說訊息稀疏的連續訊號最能發揮 SSM 的壓縮與串流優勢，音訊正在冒出很多商業應用。
10. 15:43推向裝置端Karan 說模型夠高效就能搬到小型硬體，把處理放到感測器旁邊，像安全攝影機先篩掉沒用的資料，再記住有用的。
11. 17:36第二波是效率主持人提到 Apple 裝置端的模型很多是 3 billion 參數。Karan 說 3B 還不夠強，目標是能力很強、占用又小；7B 模型在 Mac 上跑會越來越慢、記憶體越吃越多。
12. 20:26Sonic 與 TTS 還差多少先建通用的高效音訊模型再發表 Sonic。Karan 說 TTS 離天花板很遠：情緒、不同職業的講話方式，現有模型都抓不好。
13. 24:05做好單一模態也需要多模態Albert 說連 TTS 或語音到語音都不是局部問題，要真正做好得有更懂語言的模型；SSM 是通用積木，多模態只是不同的挑戰。
14. 25:55接下來做什麼Karan 列出：改進 Sonic、支援更多語言、加更多可控性、讓它在 MacBook 上即時跑，再接上對話與推理，以及把音訊原生放進模型。
15. 28:29延遲、編排與美感語音接語言模型的往返延遲很痛，多模型編排是工程負擔，最後應該只剩一個模型。Albert 說自己挑研究問題靠的是美感；主持人提到 Erdős 說有些證明像出自上帝的書，Albert 說那叫 proofs from the book，也是自己挑問題的準則。
16. 31:22本機 demoKaran 在 Mac 上現場跑 Sonic，語音即時串流出來，朗讀一句談 the book 的引言。團隊現在 15 人加 8 位實習生。

值得記的話5 句

• people think that like you can throw a Transformer at like anything and it just works很多人以為 Transformer 丟什麼進去都行得通08:09

• people have found that the optimal ratio tends to be mostly SSM layers with a little bit of attention大家發現最佳比例是大部分用 SSM 層，只加一點 attention11:31

• cost a million dollars in the data center and $10 on a commodity GPU or accelerator at the edge今天在資料中心要花一百萬美元的能力，將來在邊緣的普通 GPU 或加速器上只要 10 美元16:32

• the second wave is always about efficiency第二波永遠是在拚效率17:51

• would I want to talk to this thing for more than 30 seconds and if the answer is no then it's not solved我會不會想跟它講超過 30 秒？答案是不會，就還沒解決22:02

名詞與人物11 個

Karan Goel

Cartesia 共同創辦人，本集來賓，S4 的合作者；Sonic 的介紹與現場 demo 由 Karan 負責。

Albert Gu

Cartesia 共同創辦人，本集來賓，今年到 CMU 任教授，是 S4 與 Mamba 的作者。

Cartesia

Karan 與 Albert 的公司，把 SSM 做成產品，第一個產品是 Sonic。

Sonic

Cartesia 的文字轉語音引擎，主打即時、低延遲。

state space model（SSM）

依序處理序列、把資訊壓成持續更新的狀態的模型家族，被當成 Transformer 的替代方案。

S4

Albert 與 Karan 合作的 SSM 模型，證明某種循環模型在部分應用上很有效。

Mamba

Albert 提出的 SSM 模型，在語言建模上表現很好。

hybrid model

把 SSM 層與 attention 層混用的模型，Albert 說最佳比例大約 10 比 1。

tokenization

把文字切成 token 的步驟，Albert 說它和 Transformer 一起演化，既重要又很不自然。

Chris Ré

Karan 與 Albert 在 Stanford 的博士指導教授。

proofs from the book

Erdős 的說法：有些證明優雅到像是出自上帝的書。Albert 用它形容挑問題的標準：有些做法一看就是對的方式。

提到但沒有展開

• Albert 用一個「很粗略」的類比：人腦大部分的智慧來自即時處理的狀態，再加上像便條紙一樣的查找能力，對應 SSM 加 attention。
• Karan 說遊戲的夢想是有數百萬名玩家都能和模型互動、即時得到回應；也設想未來用模型輸出的即時資料流取代圖形與渲染。

在 YouTube 看原片 ↗