擴散模型不需要跑滿 50 步

概要

• 瓶頸是延遲Ziv 說擴散模型通常要 20 到 50 步去噪，拿到第一張圖就要等很久；要做 world model、遊戲、機器人這類即時應用，延遲是最大的問題。
• 量化最簡單做法跟 LLM 相近，可以省記憶體、也能跑在比較低階的 GPU 上。Ziv 舉與 Black Forest Labs 合作的 Flux2 為例，用的是動態量化。
• 快取要小心畫質擴散模型不是一次生成一個 token，所以 LLM 的 KV cache 不能直接套用。Ziv 介紹 tcache 與更新的分塊式做法，也提醒快取沒做好會明顯傷害畫質。
• 蒸餾效益最大目標不是縮小模型，而是訓練學生模型用更少步數，從 50 步降到 4 步、8 步，有時只要一步。Ziv 說這是走向即時生成大概唯一的路。
• 兩條蒸餾路線軌跡式要學生照老師的去噪路徑走，分佈式只看最後的輸出分佈。Ziv 說現在比較常見、畫質也較好的是分佈式。
• 三招可以疊加從量化開始，再做多 GPU 與 context parallelism、加快取，最後才是蒸餾。提到的工具都開源，包括 Nvidia 研究團隊的 FastGen。

原話

• “In diffusion, the goal is not to get to a smaller model.”

  擴散模型蒸餾的目標不是得到更小的模型

  ▶ 09:47

• “The more common, I would say, and better quality technique these days is distribution-based.”

  現在比較常見、畫質也比較好的技術是分佈式

  ▶ 11:45

• “I think the best value about it is all of it is incremental”

  我覺得最有價值的是這些做法都可以一步步疊上去

  ▶ 15:04

• “What's good about distillation is that you don't need GB200, right?”

  蒸餾的好處是不需要 GB200

  ▶ 17:02

延伸

• Ziv 提到有新的模型團隊在試 transfusion 或自回歸式擴散：先用擴散生成一張畫面，再一幀接一幀自回歸地生成。
• Ziv 說擴散的蒸餾仍偏研究導向，預期會有更多技術出現；在蛋白質生成這類領域，則需要更特定的資料。