拿掉外部 encoder 的 SelfFlow

概要

• Flux 系列的路線Stephen 從 2024 年 8 月的 Flux 1 講起，接著是 Flux Context、Flux 2，以及今年 1 月的 Flux 2 Klein，主軸是每一代都要做到當時最先進，Klein 則往即時編輯走。
• 外部 encoder 的代價現行做法用外部 encoder 教生成模型「玻璃不該穿過桌子」，收斂變快，但有 scaling 上限、只管單一模態，目標也和生成不一致。Stephen 舉同一系列新舊兩版 encoder 對照：新版本身比較好，拿來訓練反而更差。
• SelfFlow 的做法同一個模型裡放 student 與 teacher，兩邊看到不同程度的雜訊，student 同時學生成與表徵，不需要任何外部模型，擴大模型時也只需要擴大 student 與 teacher。
• 跨模態的結果Stephen 說這個研究模型在音訊、圖像、影片上都比 flow matching 基線好，收斂更快，文字拼寫、人體結構、影片閃爍與音畫同步都有改善，也試了預測機器人動作。
• 速度與下一步Klein 4b 與 9b 在開源模型中至少打平，延遲約 0.5 秒；Black Forest Labs 接下來要走向視覺智慧、即時生成，以及用 world models 訓練機器人等 agent。

原話

• “our first operating principle is to release state-of-the-art models.”

  我們的第一個營運原則，就是釋出最先進的模型

  ▶ 06:08

• “you never learn, you know, that my glass shouldn't go through here.”

  去雜訊的過程中，永遠學不到玻璃不該穿過這張桌子

  ▶ 08:02

• “you would have a very Frankenstein set up.”

  要是每種模態都配一個 encoder，整套就會變成科學怪人

  ▶ 09:45

• “you only have one model you don't have anything external”

  只剩一個模型，沒有任何外部的東西

  ▶ 12:36

• “the reason is robot that's why we care.”

  原因就是機器人，這是我們在意它的理由

  ▶ 20:26

延伸

• Stephen 強調 SelfFlow 這批是研究模型，不是要放進正式環境。
• Stephen 回憶 Flux Context 推出時，第一代 GPT image 生一張圖要 40 到 50 秒，Context 大約 7 到 8 秒。
• Q&A 被問到記憶能撐多長，Stephen 沒有給數字，只說總會有上限，可能用滑動視窗。