這一站 7 場,你看完 0 場

即時互動影片是下一種媒介

116Ahmed Ahres(Reactor)17:302026-08-18 上架

The Next Medium: Why Real-Time Interactive Video Changes Everything — Ahmed Ahres, Reactor

即時互動影片是下一種媒介的演講縮圖

Ahmed 把 world model 定義成即時互動影片,用 GPS 與數位攝影當類比,說明三類模型各能做什麼,也談即時推論的基礎設施與還沒人解開的評估問題。

這場講了什麼

  • world model 就是即時互動影片:Ahmed 說 world model 這個詞有點像行銷用語,有人從 Gaussian splatting 去想,有人從影片去想;Reactor 的定義是即時互動影片。
  • 現在的影片生成像拉霸機:Veo 3、Seedance 2 這類模型是下 prompt、拿回一個檔案、看完就結束,改不了。Reactor 想的問題是:影片能不能像軟體一樣可以程式化。
  • 即時改變的是媒介本身:GPS 與數位攝影都不只是讓事情變快,而是長出原本不可能的東西,沒有 GPS 就沒有 Uber,拍攝時看不到畫面就不會有 Instagram 與 TikTok。
  • 三類模型各有用途:第一類是即時、無限長、可互動的影片生成;第二類是 Genie 3 那種可以操控角色的世界;第三類是即時互動的 avatar,目前多半還在 research preview。
  • 基礎設施跟批次推論完全不同:要從伺服器串流像素到用戶端、每個 session 都要記得前面發生過什麼,還要在世界各地都做到 sub-100 millisecond 的延遲。
  • 評估還沒有解法:回答聽眾提問時,Ahmed 說即時模型的評估是整個 world model 研究社群都還沒解決的問題,現在就是靠人用眼睛看。

影片從哪一段開始看11 段

  1. 00:12world model 的定義world model 被不同人用在不同意思上,Reactor 把它定義成即時互動影片,Ahmed 認為這會改變內容的製作與觀看方式。
  2. 01:02影片一直是被動的現有模型是下 prompt 拿回檔案,像拉霸機;問題是影片能不能像軟體一樣可程式化。接著簡短介紹自己是 Reactor 的 head of go-to-market,Reactor 是 series A 公司。
  3. 02:47兩個歷史類比紙本地圖變成 GPS、底片變成數位攝影,都不只是變快:沒有 GPS 就沒有 Uber,拍攝時能即時看到畫面才有 Instagram 與 TikTok。
  4. 04:41第一類:即時版的 Veo 與 Sora影片無限長、可互動、即時生成,現場示範在畫面中途下 prompt 讓一隻貓出現。帶來的是掌控感,以後也可能即時生成廣告。
  5. 06:59第二類:Genie 3 式的可控世界給一張圖加一段文字就能操控角色。用途不只遊戲,還有遊戲與電影的混合、替機器人產生訓練資料,以及教育。
  6. 09:06第三類:即時 avatar 與使用者作品avatar 還沒做到位,跟它講話仍然怪怪的。Reactor 上的使用者在做觀眾投票決定劇情的直播、醫療模擬、烹飪模擬與即時影片編輯。
  7. 11:00Reactor 上的模型Reactor 目前有四類模型,包括類似 Genie 3 的世界模型、能事先下 prompt 拍出連貫故事的多鏡頭模型,以及影片轉影片的編輯模型,可以用在好萊塢電影的預視覺化。
  8. 11:54即時推論的基礎設施批次推論是送請求、拿檔案;即時要串流像素、維持 session 與記憶,還要把使用者導到最近的 GPU,否則體驗就不再是即時。
  9. 13:39整合方式用 API key 載入模型,大概十行程式碼就能接進自己的產品。
  10. 14:40Q&A:加速與確定性引擎一則聽不清楚的提問,Ahmed 的回答是多張 GPU、優化模型權重與 quantization,只是優先順序的問題。被問到確定性引擎時,Ahmed 說 Reactor 目前沒做,但看過有人在平台上自己做。
  11. 16:25Q&A:怎麼評估保真度好判斷,看像素就好;即時模型的評估則連 DeepMind 在內都沒人解決,現在靠人眼判斷,Reactor 有研究團隊在做。

值得記的話5 句

  • It's a slot machine. You cannot change it.這是拉霸機,你改不了它。指現有的影片生成模型01:19
  • Uber would not exist if we did not have the GPS.沒有 GPS 就不會有 Uber03:21
  • that instant feedback is the ultimate level of control即時回饋是最高層級的掌控06:08
  • it needs to be sub-100 millisecond latency anywhere you are不管你在哪裡,延遲都要在 100 毫秒以下13:05
  • evaluation for these real-time models is an unsolved problem這些即時模型的評估是個還沒解決的問題16:42

名詞與人物6 個

Reactor
Ahmed 任職的 series A 公司,替即時 world model 做基礎設施與開發者平台
world model
Reactor 的定義是即時互動影片,而不是從 Gaussian splatting 出發的那一派
Genie 3
Google 的模型,給圖與文字就能操控角色,Ahmed 拿它代表第二類
Veo 3 / Sora / Seedance 2
現有的批次影片生成模型;第一類模型就是它們的即時、無限長、可互動版
avatar 模型
第三類,即時互動的虛擬人物,可以用在客服、訓練、銷售、遊戲與串流服務
批次推論與即時推論
前者送請求拿回檔案,後者要串流像素、維持 session 記憶,批次那套不能直接搬來用

提到但沒有展開

  • 記憶是即時模型的弱點:Genie 3 的 demo 裡,角色轉頭再轉回來就記不得剛剛的畫面,要花很多功夫維持 context window。
  • Ahmed 說自己不特別喜歡廣告這個領域,但認為它會變大;品牌現在還怕 AI,怕 logo 有一個像素顏色不對,所以要等一段時間。

模型開發工具產業觀察

在 YouTube 看原片 ↗

同一站:Multimodal AI7 場

  1. 讓 agent 用 HTML 直接做影片030 · James Russo(HeyGen) · 15 分
  2. 把剪片交給 agent,做給一般人用112 · Ekaterina Deyneka(Reelful) · 13 分
  3. 影片生成的另一條軸:效率113 · Keegan McCallum(uRun) · 9 分
  4. 用標籤描述意圖的遊戲引擎115 · Arturo Nunez(Nereu) · 20 分
  5. 即時互動影片是下一種媒介你在這裡
  6. 替語音 agent 加上即時影像118 · Sidney Primas(LemonSlice) · 27 分
  7. 讓吉他開口說話的 plug-in119 · Todd Fisher(Philo Ventures) · 19 分