Runway

002 · 讓創作者用上 AI 的 Runway

48:52YouTube 上架 2023-05-01Cristobal Valenzuela（Runway）

前 13 集的上架日是頻道補檔的日子（2023 年 4 月底一次補上），不是當初播出的日期，所以跟集號的先後對不起來。

No Priors Ep. 2 | With Runway ML’s Cristobal Valenzuela

Cristobal Valenzuela 從智利的商業與藝術背景談到 Runway：模型目錄一路變成創作工具、研究與創作者並肩做產品，最後用「顏料管」比喻看生成式 AI 與藝術的關係。

002 講了什麼

• 跨領域的出身Cristobal 在智利念商業與經濟，再轉設計，一邊替銀行做顧問，一邊用 Arduino 做媒體藝術，同時自學寫程式，後來拿獎學金到 NYU 的 ITP 念了兩年。一位智利攝影師前輩對 Cristobal 說，這些領域其實是同一個世界，分類是人自己畫出來的。
• 從模型目錄到創作工具Runway 最早的做法是替創作者在研究模型外面加一層容易上手的介面，做成像 app store 的模型目錄，一度有大約 400 個模型。Cristobal 說這段主要是在學習，現在公司有大約 35 種 AI 工具，green screen 是其中之一。
• 模型本身不是產品Cristobal 認為把模型做成產品，要處理部署、使用者怎麼操作、執行成本，和只改善某項指標是兩回事。技術變動太快，所以團隊決定掌握自己的技術堆疊，並讓研究員和有影像經驗的人同桌工作，團隊約一半有藝術背景。
• 用 green screen 說明做法Cristobal 說使用者沒有要求「一鍵去背」，他們要的是更快做遮罩的方式。團隊加進讓人點選引導模型的設計，第一版每秒只有 4 張畫面，卻已經比當時其他工具好。
• 目標是幫人，不是取代人Cristobal 講到導演用 Runway 可以同時試三個想法，而不是被時間和成本限制只能選一個。八成、九成先做出來，剩下的再交給 Nuke 或 Flame 之類的工具處理。
• 用顏料管看 AI 與藝術Cristobal 把現在比作顏料管剛出現的時候，工具要更容易取得、更可控，藝術家仍然是中心。

從哪一段開始看18 段

1. 00:00跨領域的背景Cristobal 從智利的商業、經濟與設計，談到實體運算、顧問工作，再到自學程式與 NYU 的 ITP。
2. 03:07同一個世界一位智利攝影師前輩的一句話讓 Cristobal 記到現在：這是同一個世界，分類是人畫的。主持人接著聊矽谷歷史與藝術的關聯。
3. 06:28Runway 是什麼一間做神經網路基礎研究的應用研究公司，約 35 種工具，涵蓋剪輯、去背與生成式影像、影片。
4. 08:31從模型目錄開始2019 年的版本像給創作者用的模型 app store，附 SDK 與部署系統，Cristobal 說這段主要用來學習。
5. 12:39技術路線怎麼排新技術要 12 到 24 個月才看得出能做什麼；對很多需求要說不；也要搞清楚為誰而做。
6. 15:30為什麼自己做研究模型不是產品，掌握技術堆疊是生存問題。研究員與創作者一起工作，研究不是每半年交一篇論文的獨立部門。
7. 18:35研究型創辦人的盲點研究者轉做產品是好事，但從好看的 demo 到可靠的事業還有很長一段，早點讓真的使用者上手最重要。
8. 20:25期待多模態文字、影像、聲音的研究逐漸匯流，創作軟體也不該各管一種內容；人本來就是同時用這些方式在想。
9. 22:27團隊如何分工小團隊，直到兩週前都沒有專職產品人員，產品由研究、設計與工程共同帶；現在開始分 squad、更偏專業分工。
10. 24:00green screen 的由來觀察到有人把影像模型拿去處理影片，才開始做；加入人在迴路中的點選引導，第一版很慢但已勝過其他工具。
11. 28:28誰在付費從後製與特效公司、廣播公司到運動相關公司；主持人提出高品質素材做得到嗎，Cristobal 說整部片自動化還差得遠，但光是省下一兩成時間與成本就很可觀；有位導演說以前只能押一個想法，現在三個都能試。
12. 31:22八成到位就有用從 80 分到 100 分很難，但創作領域不像自駕車，容得下不完美，剩下的部分可以接到專業工具裡處理。
13. 32:59product-market fit早期被當成藝術系學生的玩具；Cristobal 的教訓是要看進步的速度，不是看當下的輸出。使用者自己做教學、分享作品，是訊號。
14. 37:01把公司當產品重來一次會怎麼做？Cristobal 說自己寫程式變少，更多在想怎麼讓公司的文化與組織隨規模維持一致。
15. 39:06AI 與藝術之爭主持人提到杜象與沃荷的例子，問怎麼看現在的爭論；Cristobal 說藝術是看世界並表達的方式，藝術家的角色是嘗試不同媒材。
16. 41:12顏料管的比喻管裝顏料讓人能到戶外作畫，帶出印象派；AI 藝術有 2015 到 2022 年的第一波，現在則是擴散模型與 Transformer 帶起的第二波。
17. 45:03還缺什麼要更容易取得，也要更可控、更能表達意圖；Cristobal 把這點類比成對齊。
18. 46:35值得關注的圈子藝術運動都有文化背景；Cristobal 看好科技圈裡的怪人與用程式做創作的社群。

值得記的話5 句

• models on their own are not products模型本身不是產品15:30

• customers and people are really good at telling you like what their problems are客戶很會說出自己的問題；後面接著說，他們很難把解法講出來25:34

• you're looking at this singular moment in time of that technology you should really be looking at the rate of progress你看的是這項技術某一刻的樣子，其實該看的是進步的速度34:29

• I code less but I code the company in a way我寫程式變少了，但某種程度上我在「寫」這間公司38:19

• the artist still remains pretty much at the center because that's what really art is about and these are just tools藝術家仍然是中心，因為藝術本來就是這樣，這些只是工具43:59

名詞與人物10 個

Cristobal Valenzuela

Runway 的共同創辦人，本集來賓，來自智利。

Runway

做創作工具的應用研究公司，約 35 種 AI 工具。

ITP

Cristobal 在 NYU 念了兩年的藝術學程，說這段讓自己學會把商業、設計、藝術與技術接起來。

model directory

Runway 早期的模型 app store，一度有大約 400 個模型。

rotoscoping

逐格把主體從影片中摳出來的工作，是 green screen 工具要省下的時間。

green screen

Runway 的去背工具，用人在迴路中的點選引導模型。

human in the loop

讓人先指出要處理的區域再交給模型，是 green screen 的核心設計。

顏料管

Cristobal 的比喻：管裝顏料讓畫家能走出畫室，現在的 AI 工具也在這個階段。

印象派

Cristobal 用來說明新工具如何帶出新的藝術運動。

Nuke / Flame

專業影像後製軟體，Cristobal 說 Runway 做到八成後，剩下的可以在這裡處理。

提到但沒有展開

• Cristobal 講到 Runway 長期沒有行銷或內容策略團隊，成長主要靠使用者自己做教學、分享作品。
• 一位早期使用者 2018 年把自己用 AI 生成的抽象圖，用混合技法畫成一幅畫寄給 Cristobal，說那是自己第一件用 AI 做的作品。

在 YouTube 看原片 ↗