AI Engineer Europe 2026 · 演講 · 2026-05-09 · 8 分
幫既有聊天 agent 包上語音
Give Your Chat Agent a Voice · Luke Harries,ElevenLabs
ElevenLabs 的 Luke Harries 預告一個把語音層獨立出來的 voice engine,讓已經做好的 chat agent 用一層薄薄的 SDK 就能開口講話。
概要
- 聊天已是預設介面,語音是下一步Luke 認為 2025 年是 chat agent 的一年,但聊天不像在做未來;語音更快、更能互動,對不方便用鍵盤的人也更好用。
- 語音 agent 的兩塊拼圖他們跟客戶合作時,架構都長得差不多:一邊是 voice engine(text-to-speech、turn-taking、speech-to-text),一邊是串起 LLM、RAG、工具與整合的 agent orchestration。
- 客戶已經有自己的 agent不少客戶是從零開始,但也有很多早就做好 agent,花了大量時間做 evals 與轉錄,不想整套換掉。
- voice engine 獨立成一個元件這個新產品預告幾週後推出,把語音層包成獨立的基本單元,可以套在任何現有 agent 上。
- 接法很短server SDK 建立 client 與 voice engine,再把它掛到既有的 chat agent 上;client SDK Luke 說大約三行就能在網站上放一個 widget。
- 一個 prompt 就能轉換發表時會附一個 skill,讓 coding agent 去分析程式碼、找出 chat agent 並包起來;Q&A 裡 Luke 補充,工具呼叫大多本來就在 chat agent 後端,包裝層不用另外處理。
原話
▶ 00:56“I really think voice is this natural medium it's way quicker it's way more interactive”
我真的覺得語音是很自然的媒介,更快也更能互動
▶ 04:35“you can literally, in about one prompt, actually convert an existing chat agent to a voice agent”
大約一個 prompt,就能把現有的 chat agent 轉成 voice agent
▶ 07:04“your chat agent actually normally does the majority of tool calling”
chat agent 通常已經做掉大部分的工具呼叫
延伸
- Luke 認為 chat agent 接下來只有兩條路:被淘汰,或開始加上語音。
- 把 client-side 工具呼叫轉送給被包裝 agent 的做法,Luke 說之後會加,這場沒有細節。
章節
點時碼直接跳到原片的那一段。
- 2025 是 chat agent 的一年Luke 開場說很多產品靠加上 chat agent 才變成 AI first,聊天成了預設的互動方式。
- 為什麼要語音Luke 認為聊天不像在打造未來,語音更快、更互動,也對打字困難或有閱讀障礙的人更友善。
- 語音打開的新用法舉例:agent 可以加入 Zoom 通話、在你講錯數字時糾正你,客服則可以多一條電話專線。
- 客戶端的共同架構ElevenLabs 從做 text-to-speech 模型,一路被拉進整套 agent 方案,客戶包含 Revolut 的客服;架構都分成 voice engine 與 agent orchestration 兩層。
- 已經有 agent 的客戶有些客戶樂意直接用現成整套,但很多人早已做好 agent、評估與轉錄,不想整個重建。
- 預告 voice engine把語音層獨立成一個基本單元,內含 Scribe、V3、能判斷停頓的 turn-taking 與 semantic VAD,以及上千種聲音與語言。
- server SDK 的用法建立 client 與 voice engine,加一層 wrapper 掛到現有 chat agent;每個新 session 就轉送給原本的 agent。
- client SDK 與 UI 元件約三行就能在網站放 widget,另有一批基於 ShadCN 與 Vercel 風格的 UI 元件。
- 示範:一個 prompt 轉換現場拿一般客服 chat agent 示範,程式碼全在本機跑,並展示 coding agent 寫出來的 voice engine 掛載程式。
- 兩條路的總結Luke 認為社群該多往這種更高層的組合走。已有 chat agent 的用 voice engine 加薄薄一層 SDK,想要完整方案的用現成的對話式 agent 平台。
- Q&A:工具呼叫怎麼處理回答工具呼叫怎麼辦:chat agent 後端通常已有工具呼叫,另有 client-side 與 server-side 兩種工具,之後會加上轉送給被包裝 agent 的方式。
名詞
- voice engine
- ElevenLabs 預告的新產品,把 text-to-speech、turn-taking、speech-to-text 包成獨立元件,可套在現有 agent 上
- Scribe
- Luke 稱為最準確的 speech-to-text 模型,是 voice engine 的一部分
- V3
- voice engine 用的 text-to-speech 模型
- turn-taking
- 判斷何時輪到誰講話;Luke 說它能感知情緒與脈絡、分辨停頓,也做 semantic VAD
- client-side tools / server-side tools
- ElevenLabs 的兩種工具概念;前端工具可以操作 DOM
- Revolut
- Luke 舉的客戶例子,用 ElevenLabs 的方案做客服








