開源基礎模型與 Stability 的賭注

003 · 開源基礎模型與 Stability 的賭注

45:03YouTube 上架 2023-05-03Emad Mostaque（Stability AI）

前 13 集的上架日是頻道補檔的日子（2023 年 4 月底一次補上），不是當初播出的日期，所以跟集號的先後對不起來。

No Priors Ep. 3 | With Stability AI’s Emad Mostaque

Emad Mostaque 談 Stability AI 為什麼走開源、基礎模型與私有資料怎麼分工，以及對 AGI、監管和國防的看法。

003 講了什麼

從 EleutherAI 走到 StabilityEmad 先是資助 EleutherAI 與做圖像模型的社群，約 15 個月前想把這些社群組成共同資產。一開始考慮 DAO，大約一週後發現行不通，才轉向商業開源軟體。
模型是新的基礎設施Emad 認為訓練模型的通常只有五到十人加一台超級電腦與資料團隊，不像傳統開源。Stable Diffusion 是 2 GB 的檔案，能把一串文字確定地轉成圖，推論成本低，所以採用得很快。
開源給基礎，私有做後段Emad 說基礎模型的深度學習階段會全部開源，instruct 與 human in the loop 的階段由私人公司做。Stability 的商業重心放在媒體，以及私有與受管制的資料：封閉模型的權重不太可能裝進客戶自己的機房，開源模型就很可能。
新興市場可能跳級Emad 談到在馬拉威部署平板、在難民營教識字與算術，認為這些沒有既有基礎設施的地方能從底層重建醫療與教育系統，而且確信五年內會超越西方。
AGI 不是重點，要的是增強人Emad 說自己只在乎 AGI 不要害死人，更在意 intelligence augmentation。另提一條路：不是一個巨型模型，而是代表人類多樣性的許多模型（millions of models）組合起來。
主張監管大型模型與廣告Emad 認為超過一定 flops 的模型都要登記，並由專責的國際團隊來測試；也點名廣告的操弄風險，並談 opt-out 機制、metadata 標示來源，以及無人機與殺人機器人需要國際協議。

從哪一段開始看19 段

00:00個人背景Emad 從對沖基金出身，因兒子被診斷為自閉症，開始用 AI 做文獻回顧；後來做難民教育平板，新冠期間發起 AI 計畫，之後決定讓這類技術人人用得到。
02:56資助圖像模型社群新冠期間拿不到模型，轉而支持 EleutherAI；CLIP 出現後，Emad 資助各種 notebook 與 Midjourney 這類專案。
04:43Stability 的起點想把社群做成共同資產，DAO 一週內行不通，改走商業開源；研究者原本只能待在只有幾張 GPU 的學界實驗室、去大公司或 OpenAI，或是自己創業，Emad 想多開一條路。
06:31為什麼要開源模型是新的程式設計基礎件；GitHub stars 超過 Ethereum 與 Bitcoin 的總和。Emad 預期大公司會有人倒戈開源，各國也需要自己的模型。
09:27算力與三階段主持人問封閉與開源的未來。Emad 說靠著各國的超級電腦，Stability 能用的算力比 Microsoft、Google 還多，並把訓練分成深度學習、instruct、fine-tuning 三段，以 Med-PaLM 為例。
11:47Stability 做什麼Emad 說 Stability 是全世界唯一一家獨立的多模態 AI 公司；重點是可客製、可編輯的模型，不是更大的模型。商業上押媒體，以及私有與受管制的資料。
14:41計算生物學預告會釋出開源的醫療模型；推動 OpenFold，做 DNA diffusion 與化學反應的語言模型，想補上這個領域激勵對不齊的缺口。
17:37醫療為何採用慢主持人舉 1970 年代 MYCIN 的例子問為何技術沒被採用。Emad 談開源複雜系統，以及在馬拉威與政府、多邊機構合作，從底層建醫療系統。
20:32新興市場跳級主持人拿行動網路在東亞的發展當類比。Emad 同意亞洲與新興市場會跳級到生成式 AI，並說英國校長們因學生用 ChatGPT 寫作業而來電詢問。
23:08為什麼是媒體視覺溝通原本很難，生成模型讓人人都做得到；Emad 提到藝術治療、電影與遊戲的背景，並說已和電影公司合作，省下數百萬美元。
26:01對 AGI 的立場主持人問 OpenAI 不認為圖像生成是通往 AGI 的核心。Emad 說只在乎別被 AGI 害死，主張用許多模型組合（millions of models），而不是一個巨型模型。
27:48語言模型路線EleutherAI 釋出的 GPT-J 與 GPT-NeoX 下載了 20 million 次；以及 RWKV 與 instruct 框架；認為語言模型還沒走過優化週期，小模型與中型模型會有空間。
31:10商業模式正在用 Bollywood 電影訓練影片模型，與 Amazon SageMaker 合作；替國家與大企業在資料中心內訓練私有模型，開源模型則當基準。
32:44AI 與民主主持人問 AI 如何讓民主更直接。Emad 談資訊過濾層、替人翻譯與整理觀點；也談 Cicero、多模型協作，以及人們對機器的信任將上升。
36:35AI 安全Elad 把安全拆成對齊、有害內容、政治立場幾塊來問。Emad 說技術並不中立，並提到 EleutherAI 分出 Stability 與專做對齊的 Conjecture。
38:43大型模型的監管Sarah 問監管要怎麼做才有用。Emad 主張超過一定 flops 的模型要登記，設國際團隊測試；擔心各國進入軍備競賽，偏好多邊行動。
40:05廣告與資料 opt-out擔心以廣告為主的公司用逼真的模型優化操弄；主張標示 AI 內容；歐盟的 CE 標章做法，Emad 認為方向不對，並談自家訓練 CLIP 以支援 opt-out。
42:40國防與假訊息原本要辦的深偽偵測獎金為什麼要重想；與 Adobe 合作，認為 metadata 溯源可能最有效；無人機與殺人機器人則需要國際協議。
44:29五年預測Emad 的預測：小模型會大幅勝過大模型，ChatGPT 等級的模型五年內能在手機上跑。

值得記的話5 句

the models when they come out are a new type of programming primitive infrastructure模型出來之後，是一種新型態的程式設計基礎設施06:48
our view of the future is creating models that aren't necessarily bigger but that are customizable and editable我們眼中的未來，是做出不一定更大、但可以客製、可以編輯的模型12:33
I don't care about AGI except for it not killing us我不在乎 AGI，除了希望它別害死我們26:01
what if the route to AGI is not one big model to rule them all trained on the whole internet如果通往 AGI 的路不是一個用整個網路訓練的巨型模型呢27:03
anything above a certain level of flops needs to be registered超過一定 flops 的都要登記39:00

名詞與人物10 個

Emad Mostaque: Stability AI 的創辦人，本集來賓。
Stability AI: Emad 創立的公司，自稱獨立的多模態 AI 公司，推動開源基礎模型。
EleutherAI: 開源 AI 社群，Emad 早期資助它；Emad 說它後來一分為二，一部分到 Stability 做能力，另一部分是專做對齊的 Conjecture。
Stable Diffusion: Stability 的圖像生成模型，Emad 說約 2 GB，能把文字確定地轉成圖。
Med-PaLM: 以醫療資訊訓練的 PaLM 變體，Emad 用來說明基礎、instruct、fine-tuning 三階段。
OpenFold: 蛋白質摺疊的開源專案，Stability 是主要推手之一。
RWKV: 無注意力機制的 Transformer 類模型，Emad 說 Stability 在資助，14 billion 參數的版本即將推出。
intelligence augmentation: 以增強人類為目標，Emad 用它與 AGI 對照。
CLIP: OpenAI 推出的模型，讓生成模型能被文字提示引導。
opt-out: Emad 主張的資料集退出機制，讓創作者能不被拿去訓練。

提到但沒有展開

Emad 認為大型模型該當成虛構、創作用的模型，而不是事實模型：把 TB 級的資料壓成幾 GB，丟掉的是事實的精確，留下的是原則層次的分析。
Emad 拿 Stable Diffusion 說明優化的空間：剛發布時在 A100 上生一張圖要 5.6 秒，現在 0.9 秒，並認為語言模型也會走同一條路。
主持人提到小說《Lady of Mazes》：AGI 綜合一群人的意見，再代表他們進議院。Emad 接著談多個模型互相協作，例如 Cicero 組合了八個語言模型。

在 YouTube 看原片 ↗

Stability AI