AI Engineer Europe 2026 · 演講 · 2026-06-01 · 33 分
兩小時做出會說話的雕像
How to talk to statues · Joe Reeve,ElevenLabs
Joe Reeve 用 ElevenLabs 的 API 在兩小時內拼出能跟雕像對話的 app,爆紅後博物館與拍賣行紛紛來問。之後和現場聽眾聊語音介面、vibe coding 與做影片的心得。
概要
- 拍照就能跟雕像講話Joe 的 app 先拍下雕像,用 OpenAI deep research 查出身分與歷史,再用 voice design API 生出聲音、建立 ElevenLabs agent 並撥出電話,整個過程大約 30 秒。
- 兩小時 vibe coding 引來大單位Joe 在 Cursor 裡花兩小時做出來,貼文第一天 50,000 次曝光,重新發文強調是 vibe coding 做的之後,第二天衝到 150 萬,博物館與拍賣行都來聯絡。
- 膠水層也是成果Joe 說專案幾乎全是把現成、本來就為大量使用設計的 API 接起來,說好這層膠水的故事,有時比解決困難的技術問題更重要。
- 長尾工作在內容與評估真要給博物館用,難的是請策展人設計敘事,而不是拿網路上隨便找到的資料,Joe 也想到博物館的資料庫與公開 API 可以串。
- 語音介面還有很多沒解的題目不是語音就是別的方式的二元切換、對話對象不是真正做事的 agent、使用者太客氣不敢打斷,Joe 都提到,並和聽眾討論了略讀式聆聽與 agent 主動示意的點子。
- 做爆款影片的經驗Joe 的建議包括加字幕、前幾秒就放鉤子、用 ElevenLabs 的音樂生成配樂,影片在手機上用 CapCut 剪。
原話
▶ 06:11“telling a good story about the glue is the in part the most important thing of the project”
說好膠水層的故事,在某種程度上是專案裡最重要的事
▶ 11:33“people don't like interrupting voice agents because they're too polite. People are too polite.”
人們不喜歡打斷語音 agent,因為太客氣了
▶ 16:02“what's the Instagram filters moment for vibe coding? Or the TikTok moment for vibe coding?”
vibe coding 的 Instagram 濾鏡時刻或 TikTok 時刻會是什麼
▶ 27:55“that transcript of the conversation is completely malleable.”
那份對話紀錄完全可以改寫
▶ 30:54“My videos tend to get between six and 12 seconds is the median view time and then people drop off.”
我的影片觀看時間中位數落在 6 到 12 秒,之後人就離開了
延伸
- 博物館若想自己改內容,目前只能登入 ElevenLabs dashboard 改 system prompt 與 knowledge base 檔案;Joe 說這部分還沒設計過,並認為管理資訊用編輯文字比說話更合適。
- 爆紅之後有業者的執行長找到 Joe 的 WhatsApp 打來,說自己的 10 人團隊做這件事做了一年,問是怎麼做出來的。
章節
點時碼直接跳到原片的那一段。
- 暖場Joe 先問現場想聽雕像還是想安靜休息,並說自己最近花了不少時間跟雕像相處。
- ElevenLabs 與自己的角色Joe 在 ElevenLabs 的 growth 組織工作;公司做音訊 AI 基礎模型,涵蓋語音合成、轉錄、音樂、音效、聲音設計與 agents 平台。
- 雕像 app 的示範影片播放在大英博物館拍的影片,用 app 對著雕像拍照後直接跟它對話。
- 背後的流程拍照、deep research 查身分、產生聲音描述、建立 agent、撥電話,一氣呵成大約 30 秒。
- 兩小時做出來並爆紅週日兩小時做完,第一天 50,000 次曝光,重新發文後第二天 150 萬,博物館、拍賣行與其他業者來聯絡。
- 能不能撐得住量被問到規模時,Joe 說幾乎全是現成 API,流量不會是問題,膠水層與說故事的方式才是重點。
- 博物館要的內容與評估照片查資料不是長期解法,要請策展人設計敘事;博物館的資料庫可能有 API,V&A 就有公開的。
- 物件該有什麼聲音前大英博物館美洲部門主管正在研究無生命物件的聲音該長怎樣;Joe 也想到電梯這類東西可能開始有聲音。
- 語音介面的問題語音和其他介面是二元切換、講話的對象不是做事的 agent、多模態對話還少見,以及使用者太客氣不敢打斷。
- 技能與 MCP回答聽眾:ElevenLabs agents 平台目前沒有 skills 概念,但有 knowledge files 與 MCP 呼叫,OpenClaw 使用者也常搭配它打電話。
- 把科技放進實體物件Joe 認為科學博物館的大平板常像後來貼上去的,他們正委製一座內建喇叭與麥克風的雕像,另有倫敦電話亭可以和 agent 對話。
- 消費者端的 vibe codingJoe 認為 vibe coding 還沒真正進入大眾,活動上很多人第一次接觸;也預期會出現 Instagram 濾鏡或 TikTok 那樣的社交時刻。
- Facebook Instant Games 的例子Joe 花 15 英鎊買了遊戲、接上這套 API,隔天有 1500 萬用戶,並認為類似模式可能是社交 vibe coding 的樣板。
- 略讀式聆聽與主動示意討論語音輸入配畫面輸出、略讀式聆聽該怎麼做,以及不想打斷只想附和時的辦法,還有讓 agent 以小圖示示意有話想說的 nudge 想法。
- 打斷時改寫對話紀錄Joe 提出以非同步方式反覆檢視對話紀錄,並利用時間戳記刪掉被打斷後沒念出來的內容。
- 做爆款影片的心得加字幕、前幾秒放鉤子、配樂很重要;有時先用 ElevenLabs 的音樂生成定下氣氛再寫稿,影片用手機和 CapCut 剪。
名詞
- ElevenLabs
- Joe 任職的音訊 AI 公司,提供語音合成、轉錄、音樂、音效、聲音設計與 agents 平台
- voice design API
- ElevenLabs 的 API,輸入聲音描述就生成符合的聲音,雕像 app 的聲音靠它產生
- ElevenLabs agents platform
- 全託管的 agent 部署平台,雕像 app 用它建立 agent 並撥出電話
- OpenAI deep research
- 雕像 app 用來查雕像身分與歷史、並產生聲音描述素材的功能
- Cursor
- Joe 用來在兩小時內做出 app 的工具
- vibe coding
- 用自然語言叫 LLM 寫出 app 的做法,Joe 說這是把整個故事推紅的原因
- Facebook Instant Games API
- 已被棄用的 Facebook Messenger 小遊戲 API,Joe 用它搭一個買來的遊戲做到 1500 萬用戶
- OpenClaw
- Joe 說使用者常搭配 ElevenLabs 做打電話功能的 agent 專案
- CapCut
- Joe 在手機上剪影片的工具








