哈利拆解 Meta 發表的 Chameleon，把多模態模型分成三個階段，講為什麼從一開始就混合訓練會比較強。後半談 YouTube 訓練資料、機器人與全民高收入，最後回覆聽眾留言。
重點
被忽略的 Meta 多模態模型。Chameleon 和 GPT-4o、Project Astra 差不多同時發表，但 Meta 只放了論文和部落格文，沒有釋出權重與 Inference Code，所以哈利說嚴格來說不算開源。
輸入輸出都能圖文交錯。舊的多模態模型只能吃圖和文字、輸出只有文字；Chameleon 輸出也能是交錯的文字與圖片。哈利說它的 34 Billion 參數就在圖片問題上贏過 GPT-4V 與 Gemini。
三階段演化。第一階段是圖像模型先轉成文字說明、再交給語言模型；第二階段（哈利推測 GPT-4V 屬於這類）是兩個模型在向量層合併；第三階段是 Early Fusion，一開始就同模型、同詞彙庫訓練。
Early Fusion 的優缺點。優點是模態之間的關聯學得好、輸出可以是多模態，而且新模態會加成舊模態；缺點是訓練較不穩定，圖片生成到一半還會冒出文字 Token。
未來分兩步走。先把文字、影片、圖片、音訊四種模態做到輸入輸出都完美，再擴到動作與 3D。哈利估計第一步兩三年內會到、快的話一兩年，第二步五到十年，並強調這些都是他隨口估的。
端到端的趨勢。回覆聽眾留言時，哈利反對「現在 AI 幾乎都用多模型開發」的說法，認為趨勢是單一模型處理所有事，ControlNet 加 Stable Diffusion 這類組合最後也會被取代。
時間軸 點時碼從那一段開始
- Meta 被遺忘的模型同一時間 Meta 也發表原生多模態模型，但只有論文和部落格文，沒人報導。哈利想用它來看這一波模型是怎麼做的。
- Chameleon 的名字論文裡找不到縮寫由來，就是直接取了這個名字。哈利藉此談 Llama、PaLM、Gemini 的命名，說模型名稱越來越產品化。
- GPT 為什麼不改名OpenAI 是例外，因為 GPT 這三個字已經有了文化上的意義，像 Google 變成動詞。ChatGPT 當初是以 Research Preview 發表，爆紅後就沒有改名的機會。
- 輸出也能圖文交錯Chameleon 輸入和輸出都是文字加圖片，且能交錯。哈利說他所知消費者能用的模型裡，沒有一個的輸出能同時是文字和圖片，ChatGPT 與 Gemini 畫圖靠的是另外的圖像模型。
- 新能力也沒犧牲舊能力GPT-4o 的文字回答在 Chatbot Arena 排第一。Chameleon 的純文字表現追平比它大的模型，圖片問題上贏過 GPT-4V 與 Gemini。
- 新舊多模態的差別舊的輸出永遠只有文字，新的輸入輸出都有多種模態。Chameleon 能生成文字與圖片但不能生成音訊，示範是交錯圖文的鳥類圖鑑。
- 核心做法與三階段一言以蔽之，就是一開始訓練就混合不同模態。第一階段是圖像模型寫 caption，再由語言模型回答，哈利說這算不上真正的多模態，圖片資訊在轉成文字時就丟了。
- 第二階段：GPT-4V哈利強調內部技術不公開，這是他的推測：兩個模型黏在一起，最後只用到其中一個。
- 補課：Token 與向量Transformer 處理的是 Token，再轉成向量、加上位置資訊。只要能把某個模態變成 Token 和向量，就能用來訓練也能生成。
- 圖片怎麼進語言模型Vision Encoder 把圖片像切豆腐一樣切成小塊，每塊一個 Token。兩邊向量維度不同，所以用 Linear Projection Layer 對齊，再和文字向量串在一起。
- 第二階段的天花板兩個模型分開訓練，語言模型出生時不懂圖像 Token，是後來微調出來的。圖像理解有一部分是 Vision Transformer 消化完才丟過來的，所以有上限。
- 第三階段：Early Fusion從頭到尾只有一個模型，預訓練就丟交錯的圖文資料。文字與圖像各有 Tokenizer，但共用同一個 Embedding Model 與詞彙庫。
- Early Fusion 的缺點論文提到參數超過 8 Billion 後訓練變得不穩定。圖片生成到一半會冒出文字 Token，用程式強制只能吐圖像 Token 來解決。
- 三模態訓練資料與 YouTube哈利認為 OpenAI 說的 publicly available data 就是 YouTube，並認為創作者沒分到錢不合理。他建議訪問 OpenAI 高層的人改問「是否用公開可用於訓練的資料」。
- 融合告一段落、各家位置融合越來越早，接下來是擴大規模與新模態。哈利排的順序是 OpenAI 領先，Google 與 Meta 差不多，Anthropic 不確定，再來是 Mistral 與 xAI，並看好 xAI 手上有 X 的資料。
- 會有表情的 AI 助理四模態都能輸入輸出後，AI 助理能同時生成影片與表情。哈利認為內容公式化的創作者可能被整套自動化取代，包括他自己。
- 第二階段：動作與 3D機器人的動作可以寫成各關節的角度，也能轉成 Token。哈利說 Figure AI 的視覺、語言與動作模型目前還是分開的，他相信之後會合併。
- 全民高收入哈利認為人形機器人出現後，會進入全民高收入社會，機率在 90% 以上。他說這是放大版的社會福利，資本主義仍然在上面一層運作。
- 時間估計與免責第一階段他估兩三年內，快的話一兩年。動作模態結合的第二階段猜五到十年。他強調這些是拍腦袋的估計，沒有人有足夠根據。
- 聽眾留言：法規與版權回應有聽眾問 AI 法規與訓練素材的授權。哈利建議先聽 EP15，並說法規這段沒有太大進展，可以參考紐約時報告 OpenAI、Getty Images 等訴訟。
- 聽眾留言：單模型與多模型聽眾問 EP39 提到的 AlphaFold，哈利說對方講的應該是 AlphaFold2，兩個模型是同時訓練的，可以看成同一個模型的兩層。他不同意「現在 AI 幾乎都是多模型」。
- ControlNet 會被取代Stable Diffusion 加 ControlNet 的需求，未來會由 Chameleon 這類單一模型解決。GPT-4o 的部落格文已有類似示範，短期效果還不如前者，但最終會贏。
值得記的話
▶ 20:53「就是讓這一個模型在最一開始剛要開始訓練的時候就同時用不同模態的資料去訓練它」
▶ 37:27「這些 Early Fusion 的多模態模型真的是有史以來最強的這些多模態模型」
▶ 56:59「我覺得現在 AI 發展的趨勢很明顯就是往 End-to-End 在走往單一模型處理所有事情在走」
▶ 57:30「我們人類的智力真的不足以去 Engineer 出所有的問題」
▶ 1:00:05「一個模型可以打贏多模型這就是我們一再看到的狀況」
名詞與人物
- Chameleon
- Meta 發表的原生多模態模型，輸入輸出都能是交錯的文字與圖片；只公開論文與部落格文。
- 多模態（Multimodal）
- 模型能處理文字、圖片、音訊等不同形式的資料。
- Early Fusion
- 一開始預訓練就把不同模態放進同一個模型，是哈利所說的第三階段。
- Interleaved
- 文字與圖片交叉排列的內容，例如圖文並茂的圖鑑或部落格文。
- Token
- Transformer 處理資料的單位，文字、圖像區塊都能被切成 Token。
- Vision Encoder
- 把圖片轉成 Token 與向量的模型，例如 Vision Transformer，用在第二階段。
- Linear Projection Layer
- 一個矩陣，把圖像向量投射成和文字向量同樣的維度。
- GPT-4V
- 去年 10 月發表、能理解圖片但只輸出文字的模型，哈利歸在第二階段。
- GPT-4o
- 哈利認為目前最領先的原生多模態模型，輸入輸出涵蓋文字、圖片與音訊。
- ControlNet
- 給 Stable Diffusion 額外圖片條件的網路，用來控制姿勢；哈利預期會被單一模型取代。
延伸
- 哈利在 EP10 詳細解讀過 GPT-4V，在 EP15 談過 AI 相關法規，EP40 談過 Google 與 OpenAI 的模型發表。
- 他在開場提過 State Space Model 等 Transformer 替代架構有新進展，但說需要很多時間解釋，這集沒有展開。