你的進度這一站 28 場，你看完 0 場

Krea 2 訓練心得：資料決定一切

117Sangwu Lee（Krea.ai）21:462026-08-18 上架

Training Krea 2: What matters in generative model training — Sangwu Lee, Krea.ai

Sangwu Lee 從研究面拆解 Krea 2 這個圖像基礎模型怎麼訓練：怎麼篩資料、怎麼寫 caption、後訓練怎麼走，以及下一代圖像模型可能往哪裡去。

這場講了什麼

刻意追求速度與風格多樣：Sangwu Lee 認為 ChatGPT2、Nano Banana Pro 這類模型輸出穩定但慢，為了穩定嚴重 mode collapse。Krea 2 反過來求快，讓還不確定要什麼的創作團隊能多試幾種視覺方向。
資料幾乎就是一切：架構定下來之後，大部分功夫都在整理資料。重點是不要只靠一般的美學或畫質分數篩資料，把風格獨特的圖無意間刪掉。
不碰 AI 生成的圖：拿合成圖訓練是捷徑，但模型會沾上 ChatGPT 或 Nano Banana 的味道，所以團隊盡量全部拿掉。
過濾靠大模型加小分類器：先用大型視覺語言模型判斷什麼是壞資料，再蒸餾成便宜的小分類器，才跑得動數十億張圖；另外用 sparse autoencoder 當免標註的標籤系統。
訓練流程照 LLM 那一套：從 256 到 1k 解析度預訓練，接 mid-training、SFT、偏好優化、強化學習，最後訓練 prompt expander；正在做的是多專家 on-policy distillation。
想把整套堆疊簡化：希望拿掉 VAE 與 text encoder，只留一個乾淨的 transformer，也想找新的方式用文字描述圖像，例如 bounding box 與 scene graph。

影片從哪一段開始看14 段

00:12開場與 Krea 2這場從研究面談 Krea 2 怎麼訓練；Krea 2 的 medium 版剛從閉源模型開源出來，團隊特別在意風格多樣性。
01:47為什麼要快又多樣現有生產級模型最久要一兩分鐘才出圖，為了穩定而 mode collapse；Krea 2 主打快速生成，方便創作團隊探索想法。
03:24擴散模型與 latent 空間回顧加噪再去噪的訓練方式；多數模型先用 autoencoder 壓縮到 latent 空間，因為 transformer 是 O(N²)，逐像素建模太貴。
05:19資料就是一切架構鎖定後主要工作是資料；目標是風格多樣，像低解析度的 CRT 畫面也有人喜歡，不能只看一般的美學或畫質分數。
06:40什麼算壞資料重複樣本、過度集中的概念、caption 模型老是漏掉的重點，以及 256×256 小圖上塞滿文字，都要處理。
07:32排除 AI 生成圖合成資料會黏在模型上，讓輸出帶著 ChatGPT 或 Nano Banana 的味道，團隊盡量把 AI 圖全部拿掉。
08:19caption 流程與失敗案例先跑 OCR 抽出圖裡的文字，加上可選的中繼資料，再用視覺語言模型寫詳細 caption。有一類畫作的 caption 老是沒提到「掛在白牆上」，結果生成畫作時總是掛在牆上，這種只能過濾掉或降低取樣。
09:53去重與分類器過濾訓練要用 2 到 10 billion 張圖，先用 p-hash、md5-hash 去重，數量變少後再上 embedding 方法；用大模型定出壞圖的標準，再蒸餾成小分類器。
12:06用 sparse autoencoder 過濾在視覺模型上訓練 SAE，等於拿到免標註的標籤系統，可以抓出簽名、浮水印、邊框之類不想要的資料。
13:17世界知識與資料收尾照原始 CLIP 論文的做法，算出 Wikipedia 各概念的 page rank，確認重要概念都在資料集裡；整套下來大約有 30 到 40 個自建分類器與過濾規則。
15:12LLM 式的訓練流程從低解析度到高解析度預訓練，再做 mid-training、SFT、偏好優化、GRPO 式的強化學習，最後訓練 prompt expander。
17:55多專家蒸餾正在做的方向：分別訓練攝影、文字渲染等專家，再用 on-policy distillation 合併成一個學生模型。
18:30做研究的心得能快速迭代的基礎設施、資料比程式碼長久、方法要簡單好擴展，以及大量借用 LLM 研究的成果。
19:19下一代的方向架構從 encoder-decoder 走到反過來的組合，越來越像 DALL-E 2；想拿掉 VAE 與 text encoder，也看好 bounding box、scene graph 這類描述圖像的方式。

值得記的話3 句

The easiest and most reliable way to render a person is render the most boring average person that exists要穩定畫出一個人，最簡單可靠的辦法就是畫出世上最無聊的平均人02:21
But synthetic data is so sticky to the model但合成資料會牢牢黏在模型上07:32
Code is something you can change very easily, but, you know, data is, like, eternal.程式碼很容易改，但資料是永久的18:30

名詞與人物7 個

Krea 2: Krea 的圖像基礎模型；medium 版是從閉源模型開源出來的
latent diffusion model: 先用 autoencoder 在空間上壓縮，在壓縮後的 latent 空間生成，訓練比較有效率
mode collapse: 為了輸出穩定而犧牲多樣性，例如每次都把一個平均長相的人放在畫面正中央
deduplication: 先用 p-hash 或 md5-hash 去重，再用 SSCD 這類 embedding 方法找近似重複
sparse autoencoder（SAE）: 訓練在視覺模型上，當作免標註的標籤系統，用來篩掉簽名、浮水印等資料
prompt expander: 一個小型 LLM，把使用者的短 prompt 擴寫成長而詳細的 prompt，比較貼近訓練資料的分布
on-policy distillation: 把多個專家模型的能力合併進單一學生模型的做法，團隊正在做

提到但沒有展開

bounding box 當條件：以前要替圖產生 bounding box 很貴，現在視覺語言模型能替每張圖產生好的 bounding box，拿來當圖像模型的條件，Ideogram 等公司也在做這件事；從 scene graph 生成圖像則是 Fei-Fei Li 實驗室 2017 年的工作。
Sangwu Lee 把圖像生成看成視覺語言模型進展的代理指標，所以視覺語言模型變強之後，最期待的是新的、用文字描述圖像的方式。

模型開源研究

在 YouTube 看原片 ↗