這一站 7 場,你看完 0 場

把剪片交給 agent,做給一般人用

112Ekaterina Deyneka(Reelful)12:442026-08-18 上架

Building an Agentic Video Editor for Mass Consumer — Ekaterina Deyneka, Reelful

把剪片交給 agent,做給一般人用的演講縮圖

Reelful 創辦人 Ekaterina Deyneka 拆解 agent 剪真實素材的流程:先理解素材、提剪輯計畫,再進 sandbox 用 Remotion 組片並驗證。後半講怎麼把這套流程包成一般人在手機上就會用的產品。

這場講了什麼

  • 丟素材加一句話就出片:使用者丟進照片和影片,說明發生了什麼或想要的方向,agent 自己挑片段、組起來,配上字幕、音樂、旁白與 B-roll。對鏡頭講話的影片,停頓和失敗的鏡頭也由 agent 剪掉。
  • 架構跟 agentic app builder 很像:兩邊都有下提示的介面(剪片是素材加提示),後端起一台叫 sandbox 的遠端機器,裡面是帶著工具與 skills 的 agent。差別在 app builder 處理程式碼庫、交出 app 預覽,剪片處理影片合成、交出渲染好的影片。
  • 剪輯比生成難:Reelful 剪的是使用者自己的真實素材,不大量生成內容。Ekaterina 認為空白畫布上 agent 怎麼做都行,剪輯卻要決定哪些時刻最好、哪些捨掉,素材還可能雜亂、不完整,成品又要精緻到觀眾分不出是 AI 還是人剪的。
  • 流程分段,先核准再動手:先理解素材、轉錄語音,再提創意計畫讓使用者核准、修改或重新產生,核准後才起 sandbox。agent 帶著剪輯規則、字體搭配、B-roll 製作等 skills,還能另外啟動配樂、旁白、音效與照片動畫的子流程。
  • 用 Remotion 組片,再加一層驗證:Remotion 是用 React 程式碼做影片的開源框架,agent 擅長寫程式,所以能用它組片。驗證層檢查合成乾不乾淨、能不能順利渲染,有問題就讓 agent 重改。
  • 給一般大眾的三個選擇:手機優先、不用寫提示的方向模板、內建編輯器。使用者先讓 agent 出片,想微調再進編輯器剪掉一秒或改字幕。

影片從哪一段開始看10 段

  1. 00:12拍了卻沒發Ekaterina 先問現場多少人在大會拍過影片、又有多少人發出去;自己也是錄了一堆從沒發過,因為剪片費工又多半靠手工,所以做了 Reelful。
  2. 01:18什麼是 agentic video editing使用者丟素材、補上背景或方向,agent 理解素材、找片段、組合並配上字幕、音樂、旁白與 B-roll;講話影片則由 agent 剪掉停頓與失敗鏡頭。
  3. 02:42對照 agentic app builder從基礎架構看兩者很像:提示介面、遠端 sandbox、帶工具與 skills 的 agent;一邊處理程式碼庫、交出 app 預覽,一邊處理影片合成、交出渲染好的影片。
  4. 04:08剪輯與生成的差別Reelful 只剪使用者的真實素材,這比空白畫布難:要取捨、要處理雜亂的素材,成品還要精緻到看不出是 AI 剪的。
  5. 05:17理解素材與創意計畫先理解照片與影片內容、轉錄語音,再把創意計畫交給使用者核准、修改或重新產生,計畫定了才開始剪。
  6. 06:05Sandbox 與 skills核准後起 sandbox,agent 帶著剪輯規則、字體搭配、B-roll 製作等 skills,還能啟動配樂、旁白、音效與照片動畫等子流程。
  7. 07:15Remotion 組片Remotion 用 React 程式碼描述素材、軌道與先後順序,agent 擅長寫程式,所以能用它組出影片。
  8. 07:45驗證層agent 會出錯,所以加了驗證層,檢查合成乾不乾淨、定義清不清楚、能不能渲染,有問題就讓 agent 重改,直到交出完成的片。
  9. 08:19把複雜流程藏起來這套流程很複雜,最好使用者完全不用知道;Reelful 的做法是手機優先、方向模板(對鏡頭講話、加 B-roll、加旁白)與內建編輯器。
  10. 10:00成品示範播一支最近用 Reelful 做的活動影片;Ekaterina 說這些片全是 agent 組的,沒用一般剪輯軟體,也已經發到社群上。

值得記的話5 句

  • I never posted them online because video editing is hard.我從來沒把它們發到網路上,因為剪片很難00:44
  • But in the editing case, the agent has to figure out which moments are the best.但剪輯的時候,agent 得自己判斷哪些時刻最好04:41
  • this is where taste and craft live actually品味與手藝其實就在這裡06:36
  • because agents are really good at writing code,因為 agent 很會寫程式07:30
  • ideally, we don't want our users to even know anything about it.理想上,我們希望使用者根本不用知道這些08:19

名詞與人物6 個

Reelful
Ekaterina Deyneka 創辦的公司,產品是手機優先的 agent 剪片工具
agentic video editing
使用者給素材與方向,由 agent 自己理解素材、挑片段、組合並出片
sandbox
後端臨時起的遠端機器,agent 帶著工具與 skills 在裡面剪片
Remotion
開源框架,用 React 程式碼描述影片的素材、軌道與順序
verification layer
檢查合成乾不乾淨、能不能順利渲染的環節,有問題就讓 agent 重改
directional templates
預設的剪輯方向(對鏡頭講話、加 B-roll、加旁白),選了就不用寫提示

提到但沒有展開

  • 手機優先的理由,Ekaterina 舉的情境是開車、走路、甚至舉重的時候都能剪片;保留內建編輯器,則是因為很多人已經用慣一般剪輯軟體,想給他們熟悉的操作。
  • Reelful 最近拿到 A16Z Speedrun 的資金。

Agent創業

在 YouTube 看原片 ↗

同一站:Multimodal AI7 場

  1. 讓 agent 用 HTML 直接做影片030 · James Russo(HeyGen) · 15 分
  2. 把剪片交給 agent,做給一般人用你在這裡
  3. 影片生成的另一條軸:效率113 · Keegan McCallum(uRun) · 9 分
  4. 用標籤描述意圖的遊戲引擎115 · Arturo Nunez(Nereu) · 20 分
  5. 即時互動影片是下一種媒介116 · Ahmed Ahres(Reactor) · 18 分
  6. 替語音 agent 加上即時影像118 · Sidney Primas(LemonSlice) · 27 分
  7. 讓吉他開口說話的 plug-in119 · Todd Fisher(Philo Ventures) · 19 分