Meta

024 · 影片生成為什麼還卡著

39:50YouTube 上架 2023-07-20Devi Parikh（Meta）

No Priors Ep. 24 | With Devi Parikh from Meta

Devi Parikh 談 Make-A-Video 的做法、影片生成進展比預期慢的原因，以及下一步的重點：讓使用者真正控制、修改生成的內容。

024 講了什麼

• 從人機互動走到創作工具Devi 回頭看自己的研究，主線是讓人和機器用更有意義的方式互動，從形容詞與屬性、自然語言、視覺問答，一路走到 AI 用於創作。
• Make-A-Video 把外觀和動作拆開從影像與文字配對的資料學東西長什麼樣、怎麼被描述，動作則只從影片學。Devi 列了三個好處：模型要學的變少、繼承影像資料的多樣性、不需要影片加文字的成對資料。
• 影片進展比預期慢Make-A-Video 只有四秒，基本上是會動的圖。Devi 說各機構的結果都沒有明顯變長或變複雜，懷疑大家是不是漏掉了什麼根本的東西。
• 瓶頸有四個基礎設施成本高、影片的表示方式還沒找對、長影片需要階層式架構、資料的配方還沒摸熟。
• 控制是下一個重點Devi 想要多模態的輸入（草圖、圖片、音訊、短影片），以及能反覆修改的編輯機制，而不是一再改 prompt 碰運氣。
• 創作者怎麼用一端是本來就有自己聲音的藝術家，另一端是沒受過訓練、也想表達的一般人；有人把模型當工具，有人把它當共同創作者。

從哪一段開始看15 段

1. 00:00開場與求學Sarah 介紹 Devi 是 Meta 生成式 AI 的研究總監、Georgia Tech 副教授。Devi 高中畢業從印度到美國念大學，在那裡第一次接觸 pattern recognition，之後進 CMU 讀博士，因為想親眼看到演算法的輸出而轉向電腦視覺。
2. 02:38研究主線回頭看，主線是讓人與機器更有意義地互動：先用形容詞、屬性，再到自然語言與視覺問答，後來是 AI 用於創作，幾年前才變成正式的研究方向。
3. 05:15為什麼進 MetaDevi 在 Meta 大約七年。從 Virginia Tech 轉到 Georgia Tech 的空檔去 FAIR 待一年，後來延長，接下來五年每年秋天回 Georgia Tech 教書，其餘時間在 Menlo Park。
4. 06:33生成式 AI 新組織這個組織幾個月前才成立，涵蓋語言模型、影像、影片、3D、音訊、音樂。Devi 的想法是：除了消費內容，更多人也能自己創作。
5. 08:24Make-A-Video 的構想當時影像生成已有進展，影片幾乎沒人做。做法是用影像與文字學外觀與語言，再和動作分開學。
6. 10:48訓練方式與飛天柯基從學好的影像生成參數出發，一開始產生的是互不連貫的畫面，再靠影片訓練讓它們前後連貫。Devi 用會飛的鳥與飛機、柯基的長相解釋模型為什麼畫得出飛天柯基，也提醒深度模型的可解釋性不強。
7. 12:36目前的限制四秒、同一個場景，沒有物件出現、消失，也沒有場景轉換。各機構的影片都沒有明顯變長或變複雜，Devi 認為進展可能比大家猜的慢。
8. 15:11四個瓶頸影片的儲存與運算成本高、迭代慢；表示方式還沒找對，幀與幀之間有大量重複；長影片需要階層式架構；處理影片資料的經驗不夠，可能需要由短到長的課程式訓練。
9. 18:19影片總是最難，與機器人主持人提到 YouTube 早早賣給 Google，部分原因就是影片串流的基礎設施成本。Devi 說電腦視覺裡影片也一向落後；對機器人來說，影片理解比生成重要，因為機器人看到的下一個畫面是自己行動的結果。
10. 20:57控制與提示只用文字提示等於「接受或重來」。Devi 想要多模態輸入（草圖、圖片、音訊、影片）與能反覆修改的編輯機制；控制會落後於核心能力，但編輯、風格化現有影片這類用途，已經有產品在做。
11. 24:55文字轉音訊目前能生成幾秒到幾十秒的音效，大約五次有一次夠好；音訊讓內容更有表現力，投入卻太少。長度與多個聲音的組合，跟影片是同一類難題。
12. 27:31應用與意外的用途Devi 認為會先出現在原本得到處找素材來表達的情境，也想看 AI agent 普及之後媒體創作會長什麼樣。主持人舉動畫 gif、影片剪輯、行銷等近期用途，也預期會冒出沒人料到的主力用途。
13. 29:23藝術家與一般人主持人說有人認為想創作的人不多，但 Instagram、TikTok 的歷史證明不是這樣。Devi 把使用者分成本來就有聲音的藝術家與沒受過訓練的人，也提到以 AI 為主要工具的藝術家；輸入的種類越多，創作的空間也越大。
14. 34:24快問快答還沒被探索夠的是控制與多模態（一個系統同時理解、生成多種模態）。Devi 在 CVPR 最喜歡的是一個談資源較少的學界怎麼面對大模型的 workshop；也預測會有數百萬、數十億人以各種形式用上這些工具，AI agent 甚至可能成為社交圖的一部分。
15. 38:01給年輕研究者的建議把想做的事排進行事曆，不要只列待辦清單，才會逼自己估時間；另一個建議是不要自我設限，想要就去申請。

值得記的話5 句

• Maybe this is harder than what we might think.也許這比我們以為的更難14:25

• Data is kind of gold in anything.不管做什麼，資料都像黃金16:46

• It has to bring somebody's voice to life, and that is not possible if there aren't good enough ways of controlling these models.它得把一個人想表達的東西呈現出來，而沒有夠好的方法控制這些模型，就做不到21:13

• Control sort of tends to lag behind the core capability.控制往往落後於核心能力23:37

• It's on the world to say no to you if you are not a good fit.你不適合的話，該由這個世界來拒絕你39:19

名詞與人物11 個

Devi Parikh

本集來賓，Meta 生成式 AI 研究總監，也是 Georgia Tech 副教授。

Make-A-Video

Devi 做的文字生成短影片專案，把外觀與動作分開學。

FAIR

Meta 的基礎 AI 研究單位，Devi 原本只打算待一年。

生成式 AI 組

Meta 幾個月前成立的新組織，涵蓋語言、影像、影片、3D、音訊、音樂。

diffusion model

影像生成的主流做法，Make-A-Video 借用的就是它在影像上的進展。

curriculum

資料餵給模型的順序，例如從短而簡單的影片到長而複雜的影片。

text-to-audio

由文字描述產生音效，目前約能做到幾秒到幾十秒。

Runway

Devi 舉的例子，說明編輯、風格化現有影片已經有產品在做。

Midjourney

主持人舉例，說它的使用量顯示很多人想產出高品質影像。

Sofia Crespo / Scott Eaton

Devi 舉的以 AI 為主要工具的藝術家，在 Midjourney 之前、GAN 的年代就在做。

Alex Israel

主持人提到的洛杉磯藝術家，不是技術背景，卻對一個 AI 影片計畫有很具體的構想。

提到但沒有展開

• Devi 不太願意自稱藝術家，覺得那該由別人決定；但認為自己特別看重控制，多半跟自己也在創作有關。
• 主持人提到 Lensa 這類產品熱潮雖然短暫，據了解用過的人至少有數千萬，認為這類社交表達的影響被低估了。

在 YouTube 看原片 ↗