Playground 要把像素做大 · No Priors 筆記

060 · Playground 要把像素做大

24:32YouTube 上架 2024-04-18Suhail Doshi（Playground AI）

No Priors Ep. 60 | With Playground AI Founder Suhail Doshi

Suhail Doshi 談為什麼選影像、Playground 2.5 怎麼在 SDXL 架構上自己訓練、評測為什麼總是不夠強，以及最終想做的、同時能生成、編輯、理解的大型視覺模型。

060 講了什麼

從 DALL·E 2 與 Stable Diffusion 入坑2022 年 4 月 Suhail 還在做 Mighty，看到 DALL·E 2 大開眼界；同年夏天搶先試到 Stable Diffusion，卻發現大家都在 Google Colab notebook 裡玩，覺得該有個好上手的 UI。
選影像，因為沒人認真做好這一件事語言那邊公司很多，Suhail 說自己不想跟已經有一群人拼命在做的方向硬碰；影像這邊則看不出誰是長期投入、誰只是做 demo。Suhail 從高中就在玩各種創作工具，影像又自帶分享的傳播力。
現在的文字生圖比較像文字生藝術Suhail 認為模型的用途還沒被開發完，現在多半只拿來做藝術；接下來要做的是編輯、風格化，以及把真實與合成影像混在同一張圖裡。
自己訓練，從 SDXL 架構出發Playground 2.5 的目標只是比 SDXL 好。Suhail 說這件事比想像中複雜；他們用 EDM 這套取樣雜訊的方式，解決 SDXL 圖片平均亮度、色彩與對比不對的問題，也提到 Power EMA、offset noise、DPO 等技巧，但最重要的是最後階段的 supervised fine-tune 與精挑細選的資料。
評測還不夠強Suhail 說業界多數 eval 偏向行銷，和使用者在意的不一定相關。他們得看上千張圖、跨很多個 checkpoint 才能挑出候選版本，但仍然覺得自己的 eval 不夠好。
長期目標是大型視覺模型生成、編輯、理解三塊都要做；Suhail 認為 transformer 是對的方向，但只用圖說訓練的 DiT 缺少可解讀的知識，需要想辦法跟語言模型的知識接起來。

從哪一段開始看14 段

00:05開場與來賓主持人介紹 Playground AI 是影像生成與編輯產品，正在開源基礎擴散模型，最近的是 Playground 2.5。
00:35第三家公司的起點Suhail 做過 Mixpanel、Mighty，2022 年 4 月看到 DALL·E 2 覺得大開眼界；後來早期試用 Stable Diffusion，覺得該有個 UI，而不是只能在 Colab 裡玩。
01:39為什麼是影像音樂是 Suhail 做了約六年的興趣，卻想不出能做什麼有用的東西；影像結合創作工具，而且圖片本來就有人想分享。
02:41語言、影像的競爭態勢Suhail 說語言那邊超過 20 家公司，其中大概 5 到 8 家拿到十億美元的資金；影像這邊看不出誰會長期投入，Stability AI 又同時在做七種不同的東西，想把這一件事做到最好的人不夠多。
03:58文字生圖還只是藝術現在是寫 caption 變成圖，多半只拿來做藝術；Suhail 想把編輯、光線一致的插入物件與風格化也做進來。
05:15自己訓練 Playground 2.5主持人提到很多人只拿 Stable Diffusion 來微調，問 Playground 怎麼自己訓練。Suhail 說他們從 SDXL 的架構出發，只求比它好，並用 EDM 解決平均亮度的問題；一開始 Suhail 還以為新模型的圖是 eval 出了 bug。
08:05一堆小技巧與資料功夫模型有知識與美感兩個面向；Power EMA、offset noise、DPO 都是技巧，但最後一階段的 fine-tune 資料與品味判斷最關鍵。
09:39品味與 eval每次 eval 做完才發現還有缺口，例如寫實人像；Suhail 認為多數 eval 偏重行銷，得靠肉眼看大量圖格。
11:58資料策展主持人問產品裡的投票與使用者研究。Suhail 說使用者是來做圖的，不是來幫忙標註，所以前端盡量簡單；背後的策展流程很複雜，但算是獨門配方，不方便細講。
13:02定位與編輯Suhail 說文字生藝術大概排第二，之後會更重視編輯；現在的生圖像開箱抽獎，角色一致性是痛點。
14:35長期願景專注在擴大像素的規模，先做影像，因為 3D 工具比較賺不了錢、影片的推論與訓練又太貴；目標是能生成、編輯、理解的大型視覺模型。
16:41架構走向Suhail 認為 transformer 是對的方向，但 DiT 不是；只用圖說訓練的模型缺少可解讀的知識，需要和語言模型接起來。
18:32多模態與像素資料主持人問是否會走向單一多模態模型。Suhail 同意，並說像素的資訊密度比語言高，語言則是壓縮過的溝通方式。
21:29音樂與 AI 工具Suhail 說不做 Playground 的話會去做音訊；當初沒做音樂，是因為整個音樂產業只有 $26 billion，很難判斷能做多大。現在自己用 AI 生成歌曲、拆出人聲，再配上自己做的伴奏。

值得記的話5 句

it's not even text to image it's like text to Art它甚至不算文字生圖，比較像文字生藝術04:13
it turns out that it's just way more complex than that and way more complex than I even imagined結果發現事情比那複雜得多，甚至比我想像的還複雜06:02
I think that most evals in the industry are relatively flawed我認為業界多數 eval 都有相當程度的缺陷10:25
we're basically trying to focus on like scaling pixels我們基本上是想專注在擴大像素的規模14:35
pixels have an enormous amount of high information density compared to language相較於語言，像素的資訊密度高得多19:36

名詞與人物9 個

Suhail Doshi: Playground AI 創辦人，之前做過 Mixpanel 與 Mighty。
Playground 2.5: Playground 最新的開源基礎擴散模型，Suhail 說目標是比 SDXL 好。
SDXL: Stable Diffusion 的開源模型，Playground 2.5 從它的架構出發。
EDM: 一種取樣雜訊的公式，Suhail 說靠它解決了平均亮度、色彩與對比的問題。
Power EMA / offset noise / DPO: Suhail 提到的幾個訓練技巧，用來讓訓練收斂更快，或改善色彩與對比。
DiT: diffusion transformer；Suhail 說外界相信 Sora 就是用這種架構，但自己認為它不是對的架構。
eval: 評估模型好壞的測試，Suhail 認為多數與使用者真正在意的東西關聯不夠強。
large vision model: Suhail 想做的多工視覺模型，能生成、編輯與理解影像。
Mighty: Suhail 的第二家公司；2022 年時正想在瀏覽器網址列裡做點 AI 相關的東西。

提到但沒有展開

Suhail 提到不少影片模型本來就會先用十億張圖片預訓練，建立對像素的語意理解；這也是影像是最明顯起點的理由之一。
主持人提出的看法：網路資料可能已經有某種 mode collapse，而視覺資料可以讓機器人沿街拍照取得近乎無限的資料。

在 YouTube 看原片 ↗

Playground AI