語音公司怎麼同時做研究和產品

143 · 語音公司怎麼同時做研究和產品

41:38YouTube 上架 2025-12-11Mati Staniszewski（ElevenLabs）

No Priors Ep. 143 | With ElevenLabs Co-Founder Mati Staniszewski

Mati 談 ElevenLabs 如何用一個個「lab」把語音研究接到創作與客服 agent 產品，並回答大模型公司為什麼沒有吃掉這塊，最後聊到語音在教育與陪伴上的走向。

143 講了什麼

一個問題配一個 labMati 說公司先為「讓語音聽起來像人」成立約五人的 voice lab，再為「把知識接進對話」成立 agent lab。每個 lab 都由研究員、工程師與營運組成，先做研究、再在上面蓋一層簡單的產品。
規模與營收結構Mati 給的數字是 350 人、300 million 的 ARR，大約一半來自自助訂閱的創作者，接近一半來自企業的 agents 平台。創作端有超過 5 million 月活躍用戶，企業端有幾千個客戶。
聲音好不好很難量Mati 認為語音的 benchmark 還沒解決，同一個模型換一個聲音，評比結果就會差很多。客戶要選聲音，公司派專人陪著挑，例如要求「盡量機械」的歐洲企業，與依客層切換聲音的日韓公司。
大模型公司沒做的原因Mati 說音訊領域比起規模更需要架構突破，估計全世界能做到的研究員在 50 到 100 位之間，自家約有 10 位；大實驗室則不會去蓋那層產品。
技術優勢有期限主持人提到多數技術優勢可能撐一年也可能撐十年，Mati 接著說研究只是領先一步，真正的長期價值是 distribution、聲音庫、整合與工作流這個生態。
教育是最大的未啟動用途Mati 期待耳機裡有隨時待命的個人老師，同時主張學習時間也要留一部分給人與人之間的互動。

從哪一段開始看17 段

00:05開場與公司簡介主持人介紹 Mati 與 ElevenLabs。Mati 說公司做基礎音訊模型，上面有創作平台與 agent 平台兩條產品線。
01:53公司規模350 人、遠端優先，倫敦是最大據點；300 million ARR 約五五開，創作端月活躍超過 5 million，企業客戶有幾千家。
03:14為什麼做語音主持人問創作類工具有多少人需要。Mati 從波蘭外片只有單一旁白講起，想讓原本的聲音與情緒跨語言保留，並認為語音會是下一代介面。
06:52研究與產品的排序一開始用現成模型，發現太機械，才由共同創辦人帶隊自己做；之後依序成立 voice lab 與 agent lab。
10:33需求從市場長出來音樂 lab 是因為用戶想幫語音配音樂；Mati 也談即時 dubbing，用《銀河便車指南》的翻譯魚比喻。
12:37聲音好壞怎麼評benchmark 受聲音本身影響很大；公司派專人幫企業選聲音，也有名人聲音市集，還提到音訊資料的描述與標註仍落後。
18:06客服走向主動式客服 agent 起步最快，Mati 舉 Cisco、Twilio 與印度最大的電商為例，並說 Square 從語音點餐做起。
19:40沉浸媒體與教育與 Epic Games 把 Darth Vader 的聲音帶進 Fortnite；與 chess.com 合作讓名棋手當老師；也能打電話給一位 FBI 談判專家練習談判。
21:46烏克蘭的 agent 政府Mati 說烏克蘭正在把客服、主動通知與個人化教學都放進數位 app，各部會各有工程負責人。
23:21企業怎麼選廠商主持人拿 Palantir、平台公司與 Sierra 這類單一用途公司相比。Mati 說多場景、需要工程協助、跨國布署時，自己是好選擇。
26:46大模型公司為什麼沒吃掉Mati 說實驗室不會做產品層；音訊靠架構突破而非規模，團隊在自己的 benchmark 上贏過對手。
29:56開源與模型商品化Mati 認為基礎模型終將差距縮小。旁白已經有很好的開源與商用選擇，難的是可控性；對話端的 cascaded 與 fused 做法各有適用場景。
31:58優勢能撐多久主持人說技術優勢不會永遠防得住。Mati 把研究看成六到十二個月的領先，靠產品與生態延伸；產品團隊若判斷要三個月以上就自己做。
34:18目前的研究方向創作端有可控的 text to speech、涵蓋近 100 種語言的 speech to text、音樂模型；agent 端有 Scribe v2 與新的 orchestration 機制。
36:52AI 伴侶與 JarvisMati 預期伴侶會很普遍，但自己更期待像 Jarvis 的超級助理，學習也要保留人與人互動的時間。
38:43聽寫、機器人與介面烤箱、家電不需要擬人，機器人則多半會擬人；Mati 引用 Karpathy 的「decade of agents」，說之後是機器人的十年。
40:02教育是最大的未啟動用途Mati 的最後一答：耳機裡的個人老師還沒真正起飛，學校如何安全導入仍待演進，也許能請 Feynman 或 Einstein 來講課。

值得記的話5 句

you don't need the scale as much as you need the architectural breakthroughs, the model breakthroughsMati：音訊領域需要的與其說是規模，不如說是架構與模型上的突破28:51
We think there's maybe 50 to 100 researchers in audio space that could do it.我們認為音訊領域能做到的研究員大概只有 50 到 100 位29:07
the thing that will really give that long-term value is the ecosystem that you create around真正帶來長期價值的，是你在周邊建立的生態33:01
if we think it's going to be longer than three months we will probably build it如果我們判斷要超過三個月，大概就會自己做34:18
you have like your own teacher on demand你會有一個隨時待命的個人老師40:35

名詞與人物8 個

ElevenLabs: Mati 共同創辦的公司，做基礎音訊模型，再往上做創作與 agent 兩種產品。
ARR: 年度經常性營收；Mati 說公司約 300 million。
voice lab / agent lab: 公司內部以單一問題組成的團隊，成員含研究員、工程師與營運。
cascaded approach: speech to text、LLM、text to speech 分段串接；Mati 說有結構、可追蹤、可呼叫工具，企業場景明年仍會用這種。
speech to speech: 把各段融合訓練的做法；Mati 說更有表現力，但可能出現幻覺語音。
Scribe v2: ElevenLabs 剛發布的 speech to text 模型，Mati 給的數字是低於 150 milliseconds、前 30 種語言 93.5% 準確率。
Palantir: Mati 的前東家，Mati 說公司內因此也納入 forward deployed engineering。
Sierra: 主持人與 Mati 都提到的客服用途導向公司，作為單一用途的對照。

提到但沒有展開

Mati 提到對話端要做到像真人聊天、通過圖靈測試，還要一年上下；即時 dubbing 的翻譯對話則抓兩年左右。

在 YouTube 看原片 ↗

ElevenLabs