Sora 團隊談影片模型與世界模擬

061 · Sora 團隊談影片模型與世界模擬

31:24YouTube 上架 2024-04-25Aditya Ramesh, Tim Brooks & Bill Peebles（OpenAI Sora）

No Priors Ep.61 | OpenAI's Sora Leaders Aditya Ramesh, Tim Brooks and Bill Peebles

Sora 的三位負責人談為什麼把影片模型當成通往 AGI 的路、diffusion transformer 與 spacetime patches 怎麼運作，還有目前的限制、安全顧慮，以及為什麼還沒有產品時程。

061 講了什麼

影片模型在 AGI 的路上團隊拿東京冬天街景的樣本當例子：要生成逼真的影片，模型得學會人怎麼互動、甚至怎麼思考，所以把 Sora 看成往世界模擬器走的一步。
還沒有產品計畫Tim 說目前沒有推出產品的計畫，也沒有時間表；只開放給一小群藝術家和 red teamer，他們的回饋會決定接下來的研究方向。
diffusion 加 transformerTim 說 Sora 建立在 DALL·E 與 GPT 兩條研究上，transformer 讓模型能隨算力和資料越變越好，技術報告裡就比較了同一個 prompt 在不同算力下的結果。
spacetime patches 當作 token過去的模型多半只用 256x256、固定 4 秒的資料訓練；Sora 把影片切成 3D 立方塊當 token，所以能處理各種長寬比與長度，也能生成圖片。
從零做起，不是延伸圖片模型目標一開始就訂在一分鐘的 HD 影片，團隊判斷在圖片生成器上加功能做不到，才選了能擴張的架構。
現在是 GPT-1 階段團隊反覆說 Sora 還很早期。Bill 列的缺口是生成成本、選舉年的假訊息風險，以及複雜的物體互動，例如踢足球時球會憑空消失。

從哪一段開始看15 段

00:02開場與 AGI 路線Aditya、Tim、Bill 三位共同帶領 Sora 團隊。團隊說這類模型在通往 AGI 的關鍵路徑上，再往上擴張就能做出人人可以操作的世界模擬器。
02:23還沒有產品Tim 說目前沒有產品計畫也沒有時間表，只讓少數藝術家和 red teamer 使用，用他們的回饋決定研究方向。
03:11藝術家回饋與作品藝術家最大的回饋是可控性：模型只吃文字，很難精準描述想要的畫面。團隊提到 shy kids 的短片 Airhead，還有一支在推特上發的 bling zoo 樣本。
05:50短片與新用法主持人拿 Pixar 短片的演進類比，問何時會出現專業作品。Tim 說不敢預測時程，更好奇大家會發明哪些傳統電影以外的新玩法。
07:09世界模擬與機器人在影片模型裡跑模擬是之後做得到的事。Bill 說影片裡學得到手臂、關節、腿怎麼動，對實體機器人會很重要。
08:40diffusion transformerTim 解釋 diffusion 是從一段雜訊開始、一步步去掉雜訊，再搭配類似 GPT 的 transformer 架構，算力越多結果越好。Bill 說影片也能推出 scaling laws，團隊正在研究。
11:03spacetime patches語言模型有統一的 token，視覺生成模型過去沒有。Sora 把影片切成 3D 立方塊當 token，直式、寬螢幕、各種長度都能處理。
13:56為什麼從頭做起目標是一分鐘的 HD 影片，延伸圖片生成器做不到；團隊寧可挑一個更遠的目標做一年。主持人聯想到自駕車也走向端到端。
15:27美感與個人化團隊說沒怎麼調美感，因為世界本來就很美。之後想讓模型學會個人風格，很多藝術家希望上傳整份作品集。
17:01教育與虛擬人主持人設想「人人都有桌面版 Pixar」。團隊談到教育與溝通的用途；被問到 avatar 時說目前只專注在基礎技術，把 Sora 看成這類視覺模型的 GPT-1。
20:09安全與責任Aditya 說不少安全措施可以從 DALL·E 3 沿用，新問題是假訊息，以及部署的公司、社群平台和使用者各該負多少責任。主持人拿 Photoshop 類比。
21:45最期待與還缺什麼Tim 最期待有創意的人終於做得出自己想做的東西。Bill 說要先降低生成成本、在選舉年小心處理假訊息；複雜的物體互動還不穩，但咬一口漢堡留下咬痕這類樣本已經看得到苗頭。
25:05世界知識與人類比較沒教過 3D，模型也從影片學會了。團隊把世界模型比作人腦預演情境；Bill 認為人類的物理預測不精確，Sora 有機會超越。
28:15預測資料與 bitter lesson越簡單的目標越能隨規模變好：語言模型預測文字，Sora 就是預測視覺資料。
29:34大眾的誤解與結語Aditya 說 Sora 1 證明了 scaling curve 上已經有一個點。Bill 說現在就是 GPT-1 時刻，同時要先把安全的基礎打好。

值得記的話5 句

we don't currently have immediate plans or even a timeline for creating a productTim：我們目前沒有推出產品的立即計畫，連時間表都沒有02:23
To be honest, we didn't spend a ton of effort on it for Sora. The world is just beautiful.老實說，我們沒在美感上花多少力氣，世界本來就很美15:44
it learned about 3D because 3D exists in those videos它學會 3D，是因為那些影片裡本來就有 3D25:22
what works really well as you increase scale is just predict data規模變大時真正有效的，就是單純去預測資料28:48
Sora 1 is kind of an existence proof that there's one point on the scaling curve nowAditya：Sora 1 算是一個存在證明，scaling curve 上現在已經有一個點了30:07

名詞與人物8 個

Sora: OpenAI 的文字轉影片模型，能生成最長一分鐘、高畫質、畫面連貫的影片。
Aditya Ramesh / Tim Brooks / Bill Peebles: 三人共同帶領 Sora 團隊。
diffusion transformer: 從雜訊一步步去噪來生成影片，並用 transformer 架構讓模型能隨資料與算力擴張。
spacetime patches: Sora 從影片切出來的 3D 立方塊，角色等同語言模型裡的 token。
red teamer: 受邀測試模型安全風險的人，和藝術家一起是最早的使用者。
shy kids / Airhead: 試用 Sora 的創作者，和他們用 Sora 做的短片，主角是一個帶著氣球的角色。
DALL·E 3: OpenAI 的圖像模型，Sora 有些安全措施可以從它沿用。
bitter lesson: 團隊引用的觀點：要選隨算力增加就越變越好的方法。

提到但沒有展開

主持人說自己會用 voice cloning 和 DALL·E 圖片替孩子做短篇有聲故事，並設想有一天邊講故事、畫面就即時生出來的「桌面版 Pixar」。
團隊認為影片模型對教育與溝通也很有用，例如針對自己想學的東西生成一支客製的講解影片。

在 YouTube 看原片 ↗

OpenAI