把剪片交給 agent,做給一般人用
Building an Agentic Video Editor for Mass Consumer — Ekaterina Deyneka, Reelful

Reelful 創辦人 Ekaterina Deyneka 拆解 agent 剪真實素材的流程:先理解素材、提剪輯計畫,再進 sandbox 用 Remotion 組片並驗證。後半講怎麼把這套流程包成一般人在手機上就會用的產品。
這場講了什麼
- 丟素材加一句話就出片:使用者丟進照片和影片,說明發生了什麼或想要的方向,agent 自己挑片段、組起來,配上字幕、音樂、旁白與 B-roll。對鏡頭講話的影片,停頓和失敗的鏡頭也由 agent 剪掉。
- 架構跟 agentic app builder 很像:兩邊都有下提示的介面(剪片是素材加提示),後端起一台叫 sandbox 的遠端機器,裡面是帶著工具與 skills 的 agent。差別在 app builder 處理程式碼庫、交出 app 預覽,剪片處理影片合成、交出渲染好的影片。
- 剪輯比生成難:Reelful 剪的是使用者自己的真實素材,不大量生成內容。Ekaterina 認為空白畫布上 agent 怎麼做都行,剪輯卻要決定哪些時刻最好、哪些捨掉,素材還可能雜亂、不完整,成品又要精緻到觀眾分不出是 AI 還是人剪的。
- 流程分段,先核准再動手:先理解素材、轉錄語音,再提創意計畫讓使用者核准、修改或重新產生,核准後才起 sandbox。agent 帶著剪輯規則、字體搭配、B-roll 製作等 skills,還能另外啟動配樂、旁白、音效與照片動畫的子流程。
- 用 Remotion 組片,再加一層驗證:Remotion 是用 React 程式碼做影片的開源框架,agent 擅長寫程式,所以能用它組片。驗證層檢查合成乾不乾淨、能不能順利渲染,有問題就讓 agent 重改。
- 給一般大眾的三個選擇:手機優先、不用寫提示的方向模板、內建編輯器。使用者先讓 agent 出片,想微調再進編輯器剪掉一秒或改字幕。
影片從哪一段開始看10 段
- 00:12拍了卻沒發Ekaterina 先問現場多少人在大會拍過影片、又有多少人發出去;自己也是錄了一堆從沒發過,因為剪片費工又多半靠手工,所以做了 Reelful。
- 01:18什麼是 agentic video editing使用者丟素材、補上背景或方向,agent 理解素材、找片段、組合並配上字幕、音樂、旁白與 B-roll;講話影片則由 agent 剪掉停頓與失敗鏡頭。
- 02:42對照 agentic app builder從基礎架構看兩者很像:提示介面、遠端 sandbox、帶工具與 skills 的 agent;一邊處理程式碼庫、交出 app 預覽,一邊處理影片合成、交出渲染好的影片。
- 04:08剪輯與生成的差別Reelful 只剪使用者的真實素材,這比空白畫布難:要取捨、要處理雜亂的素材,成品還要精緻到看不出是 AI 剪的。
- 05:17理解素材與創意計畫先理解照片與影片內容、轉錄語音,再把創意計畫交給使用者核准、修改或重新產生,計畫定了才開始剪。
- 06:05Sandbox 與 skills核准後起 sandbox,agent 帶著剪輯規則、字體搭配、B-roll 製作等 skills,還能啟動配樂、旁白、音效與照片動畫等子流程。
- 07:15Remotion 組片Remotion 用 React 程式碼描述素材、軌道與先後順序,agent 擅長寫程式,所以能用它組出影片。
- 07:45驗證層agent 會出錯,所以加了驗證層,檢查合成乾不乾淨、定義清不清楚、能不能渲染,有問題就讓 agent 重改,直到交出完成的片。
- 08:19把複雜流程藏起來這套流程很複雜,最好使用者完全不用知道;Reelful 的做法是手機優先、方向模板(對鏡頭講話、加 B-roll、加旁白)與內建編輯器。
- 10:00成品示範播一支最近用 Reelful 做的活動影片;Ekaterina 說這些片全是 agent 組的,沒用一般剪輯軟體,也已經發到社群上。
值得記的話5 句
I never posted them online because video editing is hard.
我從來沒把它們發到網路上,因為剪片很難00:44But in the editing case, the agent has to figure out which moments are the best.
但剪輯的時候,agent 得自己判斷哪些時刻最好04:41this is where taste and craft live actually
品味與手藝其實就在這裡06:36because agents are really good at writing code,
因為 agent 很會寫程式07:30ideally, we don't want our users to even know anything about it.
理想上,我們希望使用者根本不用知道這些08:19
名詞與人物6 個
- Reelful
- Ekaterina Deyneka 創辦的公司,產品是手機優先的 agent 剪片工具
- agentic video editing
- 使用者給素材與方向,由 agent 自己理解素材、挑片段、組合並出片
- sandbox
- 後端臨時起的遠端機器,agent 帶著工具與 skills 在裡面剪片
- Remotion
- 開源框架,用 React 程式碼描述影片的素材、軌道與順序
- verification layer
- 檢查合成乾不乾淨、能不能順利渲染的環節,有問題就讓 agent 重改
- directional templates
- 預設的剪輯方向(對鏡頭講話、加 B-roll、加旁白),選了就不用寫提示
提到但沒有展開
- 手機優先的理由,Ekaterina 舉的情境是開車、走路、甚至舉重的時候都能剪片;保留內建編輯器,則是因為很多人已經用慣一般剪輯軟體,想給他們熟悉的操作。
- Reelful 最近拿到 A16Z Speedrun 的資金。
同一站:Multimodal AI7 場
- 讓 agent 用 HTML 直接做影片030 · James Russo(HeyGen) · 15 分
- 把剪片交給 agent,做給一般人用你在這裡
- 影片生成的另一條軸:效率113 · Keegan McCallum(uRun) · 9 分
- 用標籤描述意圖的遊戲引擎115 · Arturo Nunez(Nereu) · 20 分
- 即時互動影片是下一種媒介116 · Ahmed Ahres(Reactor) · 18 分
- 替語音 agent 加上即時影像118 · Sidney Primas(LemonSlice) · 27 分
- 讓吉他開口說話的 plug-in119 · Todd Fisher(Philo Ventures) · 19 分