所有節目›AI Engineer Europe 2026World's Fair 2026World's Fair 線上軌AI in HealthcareSoftware Factories
Give Your Chat Agent a Voice在 YouTube 看這一場

AI Engineer Europe 2026 · 演講 · 2026-05-09 · 8 分

幫既有聊天 agent 包上語音

Give Your Chat Agent a Voice · Luke Harries,ElevenLabs

ElevenLabs 的 Luke Harries 預告一個把語音層獨立出來的 voice engine,讓已經做好的 chat agent 用一層薄薄的 SDK 就能開口講話。

語音架構看原片 ↗

概要

  • 聊天已是預設介面,語音是下一步Luke 認為 2025 年是 chat agent 的一年,但聊天不像在做未來;語音更快、更能互動,對不方便用鍵盤的人也更好用。
  • 語音 agent 的兩塊拼圖他們跟客戶合作時,架構都長得差不多:一邊是 voice engine(text-to-speech、turn-taking、speech-to-text),一邊是串起 LLM、RAG、工具與整合的 agent orchestration。
  • 客戶已經有自己的 agent不少客戶是從零開始,但也有很多早就做好 agent,花了大量時間做 evals 與轉錄,不想整套換掉。
  • voice engine 獨立成一個元件這個新產品預告幾週後推出,把語音層包成獨立的基本單元,可以套在任何現有 agent 上。
  • 接法很短server SDK 建立 client 與 voice engine,再把它掛到既有的 chat agent 上;client SDK Luke 說大約三行就能在網站上放一個 widget。
  • 一個 prompt 就能轉換發表時會附一個 skill,讓 coding agent 去分析程式碼、找出 chat agent 並包起來;Q&A 裡 Luke 補充,工具呼叫大多本來就在 chat agent 後端,包裝層不用另外處理。

原話

  • “I really think voice is this natural medium it's way quicker it's way more interactive”

    我真的覺得語音是很自然的媒介,更快也更能互動

    ▶ 00:56
  • “you can literally, in about one prompt, actually convert an existing chat agent to a voice agent”

    大約一個 prompt,就能把現有的 chat agent 轉成 voice agent

    ▶ 04:35
  • “your chat agent actually normally does the majority of tool calling”

    chat agent 通常已經做掉大部分的工具呼叫

    ▶ 07:04

延伸

  • Luke 認為 chat agent 接下來只有兩條路:被淘汰,或開始加上語音。
  • 把 client-side 工具呼叫轉送給被包裝 agent 的做法,Luke 說之後會加,這場沒有細節。

章節

點時碼直接跳到原片的那一段。

  1. 2025 是 chat agent 的一年Luke 開場說很多產品靠加上 chat agent 才變成 AI first,聊天成了預設的互動方式。
  2. 為什麼要語音Luke 認為聊天不像在打造未來,語音更快、更互動,也對打字困難或有閱讀障礙的人更友善。
  3. 語音打開的新用法舉例:agent 可以加入 Zoom 通話、在你講錯數字時糾正你,客服則可以多一條電話專線。
  4. 客戶端的共同架構ElevenLabs 從做 text-to-speech 模型,一路被拉進整套 agent 方案,客戶包含 Revolut 的客服;架構都分成 voice engine 與 agent orchestration 兩層。
  5. 已經有 agent 的客戶有些客戶樂意直接用現成整套,但很多人早已做好 agent、評估與轉錄,不想整個重建。
  6. 預告 voice engine把語音層獨立成一個基本單元,內含 Scribe、V3、能判斷停頓的 turn-taking 與 semantic VAD,以及上千種聲音與語言。
  7. server SDK 的用法建立 client 與 voice engine,加一層 wrapper 掛到現有 chat agent;每個新 session 就轉送給原本的 agent。
  8. client SDK 與 UI 元件約三行就能在網站放 widget,另有一批基於 ShadCN 與 Vercel 風格的 UI 元件。
  9. 示範:一個 prompt 轉換現場拿一般客服 chat agent 示範,程式碼全在本機跑,並展示 coding agent 寫出來的 voice engine 掛載程式。
  10. 兩條路的總結Luke 認為社群該多往這種更高層的組合走。已有 chat agent 的用 voice engine 加薄薄一層 SDK,想要完整方案的用現成的對話式 agent 平台。
  11. Q&A:工具呼叫怎麼處理回答工具呼叫怎麼辦:chat agent 後端通常已有工具呼叫,另有 client-side 與 server-side 兩種工具,之後會加上轉送給被包裝 agent 的方式。

名詞

voice engine
ElevenLabs 預告的新產品,把 text-to-speech、turn-taking、speech-to-text 包成獨立元件,可套在現有 agent 上
Scribe
Luke 稱為最準確的 speech-to-text 模型,是 voice engine 的一部分
V3
voice engine 用的 text-to-speech 模型
turn-taking
判斷何時輪到誰講話;Luke 說它能感知情緒與脈絡、分辨停頓,也做 semantic VAD
client-side tools / server-side tools
ElevenLabs 的兩種工具概念;前端工具可以操作 DOM
Revolut
Luke 舉的客戶例子,用 ElevenLabs 的方案做客服

相關影片 同屬「語音架構」