AI Engineer Europe 2026 · 演講 · 2026-05-09 · 22 分
語音生成為何長得像語言模型
Why TTS Models Now Look Like LLMs · Samuel Humeau，Mistral
Mistral 的 Samuel Humeau 拆解 text-to-speech 近年收斂出的架構：音訊壓成 token、用自迴歸解碼器逐段生成，再談串流與文字輸入的取捨。
概要
- TTS 的主戰場在 agentSamuel 說現在 text-to-speech 最主要的用途，是替聊天 agent 接上語音介面，前面加 speech-to-text，後面加 text-to-speech。延遲是這條流程的關鍵。
- 先出第一個音訊封包只要第一批音訊封包先生成，就能開始播放，使用者感受到的延遲就低很多，即使整段音訊還要幾秒才算完。
- 把音訊當成 token 序列多數實驗室收斂到類似語言模型的做法。Encoder 把約 80 毫秒的一幀音訊壓成 token，再由自迴歸解碼器一段一段生成。
- 音訊的資訊量遠大於文字Samuel 舉標準品質 mp3 約 200 kilobits per second，對照自己說話量到的文字資訊約 15 bits per second，所以音訊必須壓縮。他們的 codec 把每一幀轉成 37 個 token，約 500 tokens per second。
- 他們的模型在最後一步不同主幹 transformer 有 4 billion 參數，一幀對應一步；一般做法是用較小的模型補齊一幀的 token，他們改用 diffusion（flow matching）一次生成 37 個。
- 文字串流輸入還沒有定論目前他們的模型先拿到完整文字，下一步是讓 LLM 吐出第一個 token 就開始發聲。穿插 audio 與 text，或雙串流，哪種好，Samuel 說他們還不確定。
原話
▶ 07:14“it's becoming so easy to impersonate a voice”
模仿一個人的聲音變得越來越容易
▶ 10:58“I'm barely 15 bits per second of actual information.”
我實際傳達的資訊量只有大約每秒 15 bits；這是用即時語音轉文字量自己說話得到的結果
▶ 18:59“we just didn't want to give everybody the ability to clone any voice.”
我們就是不想讓每個人都能複製任何聲音
▶ 20:02“we can go very very far by just using speech as an interface”
光靠語音當介面就能走得很遠
延伸
- Samuel 提到他們的技術報告有完整細節，包括 flow matching 的用法，但這場沒有展開。
- 串流文字輸入除了 interleave 與 dual stream，Samuel 還提到 delayed sequence modeling，只說尚未決定。
章節
點時碼直接跳到原片的那一段。
- 開場與新模型Samuel 說 Mistral 上週釋出第一個 text-to-speech 模型，而且開源，這場要談近來浮現的主流架構。
- Samuel 與 MistralSamuel 是 Mistral 的 AI scientist，之前在 Facebook 的 FAIR；也介紹 Mistral 是做前沿模型的 frontier lab，同時也做 B2B，協助企業導入 AI。
- TTS 在 agent 裡的位置現在的主力用法是聊天 agent 的語音介面，前接 speech-to-text、後接 text-to-speech，延遲是關鍵。
- 串流音訊示範用自己做的 app 複製 Paul 的聲音，示範第一個音訊封包先到就能開播，感受到的延遲降低。
- 語音 agent 示範把 speech-to-text、Mistral 的 LLM 與這個 TTS 接成小 agent，現場對 Paul 問議程。
- 聲音複製與聲音身分模型只要幾秒音訊就能複製聲音，連法語口音也學得到；Samuel 認為品牌之後會像網站形象一樣定義聲音身分。
- 音訊生成的演進從拼接錄好的字詞，到逐個 sample 生成、整段一次生成，再到多數實驗室收斂到語言模型式的做法。
- Encoder、decoder 與 token生成單位是一小段音訊而非單一 sample：encoder 把約 80 毫秒的一幀變成 token，decoder 再轉回來。文字切 token 很容易，音訊的位元率卻高得多，一個 token 裝不下，得先壓縮。
- 音訊與文字的資訊量拿 mp3 的位元率對照文字，說明音訊要壓縮，但又得保留聲音等聲學特徵，不能只剩文字語意。
- Codec 與訓練方式每一幀轉成 37 個 token、約 500 tokens per second；用重建損失訓練，並引導部分 token 帶有文字資訊。
- 主幹與 diffusion 解碼500 tokens per second 仍太多，常見做法是每幀一步加小模型；他們的 4 billion 參數主幹則用 diffusion 一次生成 37 個 token。
- 文字條件化各家差異最大的部分：他們的模型屬於先給完整脈絡，也就是要複製聲音的音訊加上要唸的文字。
- 延遲與串流文字輸入去掉網路延遲、單張 GPU 時，從輸入文字到第一段可播音訊是 70 毫秒；串流文字輸入還沒有明確贏家。
- 問答：文字與音訊是否同時生成有聽眾問 demo 是否邊出文字邊出音訊；Samuel 說文字由很快的小 LLM 一次產出，音訊才在之後生成。
- 問答：複製聲音的 encoder沒釋出的是 encoder，也就是複製自己聲音的那一塊，目前只以專有方式提供；開源版可用他們提供的聲音。
- 語音當介面與下一步Samuel 認為只靠語音介面就能走很遠；下一步是文字串流輸入，架構選擇尚未決定。
名詞
- Mistral
- Samuel 任職的 frontier lab，同時做 B2B 的企業 AI 導入
- text-to-speech
- 把文字轉成語音；這場談的是它的架構與串流
- Paul
- 一位真人，Samuel 現場用 Paul 的錄音示範聲音複製
- codec
- 把音訊壓成較少 token 的編碼器與解碼器，這場的核心元件
- frame（幀）
- 約 80 毫秒的一段音訊，每幀轉成 37 個 token
- backbone（主幹）
- 他們的核心 transformer，4 billion 參數，每幀跑一步
- flow matching
- 與 diffusion 類似的方法，他們用它一次生成一幀的 37 個 token
- interleave / dual stream
- 處理串流文字輸入的兩種主要架構：把音訊與文字穿插在同一層，或各走一條串流再融合
