替語音 agent 加上即時影像

118Sidney Primas（LemonSlice）26:362026-08-18 上架

Voice agents with Realtime Video — Sidney Primas, LemonSlice

Sidney Primas 說明 LemonSlice 怎麼用 world model 做出即時互動的 avatar，從單步去噪、誤差累積到 model harness，最後談情緒引擎與端到端 EQ 模型的下注方向。

這場講了什麼

• 目標是通過 avatar 的圖靈測試：LemonSlice 要做出在視訊通話裡分不出是不是真人的 avatar，除了擬真，還要處理情緒、物件互動、微表情，甚至內在狀態。
• 用 world model 專攻人：Sidney 說這條路比其他 avatar 公司的做法更難訓練、更難部署，但全身動作、物件互動、微表情與情緒會「比較不費力」地長出來。
• 即時化靠兩件事：模型只准看過去（用 attention mask 擋掉未來），並把約 30 步的去噪壓成 1 步。
• 誤差累積與 model harness 是硬仗：Teddy avatar 連續跑 8 小時不重置；GPU 與 CPU 多執行緒的調度、interrupt 與 queue 處理，Sidney 認為是產品化的一大塊價值。
• 成本壓到跟語音模型差不多：這讓消費級與娛樂應用做得起來；LemonSlice 自己主要提供 API 層，LLM 與聲音由客戶帶來。
• 下一步是情緒引擎，長期是端到端 EQ 模型：目標是讓 avatar 在對的時間做出對的情緒與動作，Sidney 預期兩三年內會看到這類模型上市。

影片從哪一段開始看16 段

1. 00:12目標：avatar 圖靈測試LemonSlice 要做出視訊通話裡與真人無法區分的 avatar，要解的不只是擬真，還有情緒、物件互動與微表情。
2. 01:41Teddy Roosevelt 發表前一天與 Microsoft 合作發表，在 Teddy Roosevelt 總統圖書館裡複製的橢圓形辦公室，讓參觀者跟 Teddy Roosevelt 即時對話。現場播了 Trump 到場互動的實拍片段：原本只排一次互動，結果待了 10 分鐘，離開後又回來。
3. 04:16為什麼要有視覺層Sidney 認為人很難長時間專注閱讀或只聽聲音，有視覺更容易理解，所以 AI 與人的多數互動長期會帶一層視覺。
4. 05:03做法：world model 專攻人路線和多數 avatar 公司不同，初期更難訓練與部署，但動作、物件互動與微表情比較容易跟著出現。
5. 06:50產品展示單張圖片就能生成 avatar，寫實、Pixar 或卡通風格都行，同一通視訊裡可以換衣服、換場景，耳環與水也有物理效果。
6. 08:14API 層與用途LemonSlice 主要提供 API，客戶自帶 LLM 與聲音，用在語言學習、AI 銷售電話等已有語音 agent 的場景。
7. 08:57訓練 video DiT 與音訊先訓練自己的 video DiT 模型，重點在音訊資料與音訊 encoder，因為情緒和表情要靠音訊帶出來。
8. 10:22變成即時互動用 attention mask 讓模型只看過去，再把約 30 步去噪壓到 1 步，影片才能即時生成。
9. 11:47誤差累積只看過去就會把前面生成的誤差一路帶進後面；Teddy avatar 連續生成 8 小時不重置，另一個要跑 16 小時，Sidney 說他們有不同於一般做法的解法，但還不能講。
10. 13:46成本與 model harness模型壓小到成本和語音模型差不多；Sidney 認為 model harness 常被忽略，GPU 與 CPU 的調度要讓影片永遠不卡頓。
11. 15:57下一步：情緒反應現在的 avatar 不會對使用者做出情緒反應，所以顯得彆扭；團隊示範有更好情緒控制的新影片，下一代模型還沒做到即時。
12. 18:13情緒引擎模型本來就做得出這些動作，但不夠可控；他們在做的 emotion engine 會依音訊、avatar 與要說的文字預測該做什麼動作，目標一到兩個月內推出。
13. 19:08長期押注：EQ 模型單一端到端模型直接吃使用者的影音、輸出 avatar 的影音，內部建模自己的情緒狀態；工具呼叫與深度思考交給另一個模型。
14. 21:02Q&A：內部狀態長期來看模型會在 latent space 裡有隱含的內部狀態，不一定人類看得懂；現在的動作與情緒是用文字描述來生成。
15. 23:06Q&A：自己的圖靈測試團隊正在設計一套納入真人的 avatar 圖靈測試，打算今年跑，也預期今年過不了，之後公開結果。
16. 24:59Q&A：成本Sidney 對成本之低感到意外，定價和音訊模型同等級，期待再降以支撐消費端，並讓解析度提高。

值得記的話5 句

• Essentially, what we do is we take these world models and we focus them on humans.簡單說，我們把這些 world model 拿來專攻人05:03

• most audio encoders today are trained on, basically, audiobooks, which is very monotone, very simple, don't have a lot of emotions.現在多數音訊 encoder 是拿有聲書訓練的，很單調、很簡單、沒什麼情緒09:33

• So that the costs are about the same as a voice model所以成本跟語音模型差不多14:04

• a lot of our value, actually, in productizing this is in the model harness.我們產品化的價值，有很大一部分其實在 model harness14:53

• there'll be a single model that is the EQ layer for AI.最後會有一個單一模型，當作 AI 的 EQ 層19:08

名詞與人物8 個

LemonSlice

Sidney Primas 創辦並擔任 CTO 的公司，做即時互動的 avatar，主要以 API 提供

avatar Turing test

LemonSlice 的目標：avatar 在視訊通話裡讓人分不出是不是真人

world model

LemonSlice 用來生成 avatar 的基礎，Sidney 也說它基本上就是理解物理世界的 video model

video DiT

LemonSlice 自己訓練的影片生成模型，是整套系統的起點

error accumulation

只看過去生成時，每個區塊的誤差會被後面沿用並越疊越大的問題

model harness

調度 GPU 與 CPU 多執行緒、處理 interrupt 與 queue 的系統，讓影片即時不卡頓

emotion engine

依音訊、avatar 與要說的文字預測當下該做的動作與情緒的模組

EQ 模型

長期押注的端到端模型，直接吃使用者影音並輸出 avatar 影音，不負責深度思考與工具呼叫

提到但沒有展開

• Sidney 提到未來可能從 diffusion 轉到 token 式的架構，讓這類影片生成便宜很多。
• 成本跟語音模型差不多這件事，Sidney 自己也覺得誇張：影片要串流的像素量比聲音重得多，成本卻相當。因為便宜，LemonSlice 很多客戶是做消費與娛樂應用的公司。

Agent模型研究

在 YouTube 看原片 ↗