放大預訓練時的合成資料與踩雷

045Marah Abdin & Robert McHardy（poolside）17:312026-07-26 上架

The Messy Reality of Scale: Synthetic Data and Pre-Training — Marah Abdin & Robert McHardy, poolside

poolside 的兩位講者，Marah 講合成資料管線怎麼拆、怎麼組，Robert 講訓練 Laguna 系列時碰到的壞 GPU、累加精度不足與 FP8 kernel 競態，最後預告還沒釋出的 Laguna S。

這場講了什麼

• 合成資料是補充，不是取代：Marah 說 poolside 不拿合成資料取代有機資料，而是用它把有機資料裡隱含的推理、規劃與結構挖出來。XS.2 的預訓練混料裡合成資料占 13%，合成語料現在有 6 trillion tokens，還在持續增加。
• 用改寫解決重複：訓練預算放大後，高品質資料開始出現不理想的重複。團隊用改寫來補，除了通用管線，另外做了兩條專用管線：一條把原始程式碼轉成程式碼加文字，一條專做 STEM 資料。
• 管線由同一組零件拼成：Marah 認為每條合成資料管線都由同樣的零件組成：種子、中繼資料、生成函式，再加上過濾與驗證。任務對模型太難，模型會退回自己的偏誤，正確性與多樣性都會掉，所以要拆成簡單的步驟。
• 訓練中什麼都不信：Robert 的團隊對每個模型副本的權重算雜湊、定期比對，只要不一致就中止訓練。壞 GPU 造成的靜默資料損毀，就是這個檢查抓得到的情況。
• 有些問題只有大規模才看得到：Laguna M.1 初版訓練到大約 50,000 步就不再收斂，原因是 unembedding 的累加預設用 BF16，activations 越長越大之後精度不夠；改成 FP32 才重新收斂。
• 配方放大後依然成立：XS.2 是試驗場，Laguna S 放大到 118 billion 總參數、8B 啟用參數，用 30 trillion tokens 與 4,000 GPUs 訓練。base model 評測在程式碼基準上贏過自家前兩代與幾款對照模型，目標仍是 agentic coding。

影片從哪一段開始看16 段

1. 00:12開場與 Laguna 兩款模型Marah 是資料團隊的合成資料負責人。poolside 幾週前釋出 Laguna M.1 與 XS.2 兩款開放權重模型，這場談的是從一代走到二代改了什麼。
2. 01:25資料端的三項改動做了 automixer，在昂貴實驗之前先便宜地掃過各資料叢集；重新設計網頁資料的取樣以提高召回；更依賴合成資料。
3. 01:56為什麼用合成資料合成資料是用來補有機資料，把裡面隱含的推理、規劃與結構萃取出來，填補缺口。
4. 03:22重複問題與改寫早期太重品質、不重數量，訓練預算放大後高品質資料開始重複。改用改寫降低重複，並加做程式碼與 STEM 兩條專用管線。
5. 05:04管線的零件與複雜度所有管線都能用同一組零件組成。簡單的改寫管線依賴種子，小模型就夠；複雜的管線有更多編排，讓團隊不被 teacher model 的能力綁住。
6. 06:32四種管線形態形式改寫、多階段、跨領域轉換、多輪迭代。例子有先定好設定與角色再逐章寫小說、把數學題轉成程式碼，以及 judge 與 evolver 來回演化題目。
7. 07:54Hive 基礎設施Hive 裡是一串自己定義的 agent，每個有自己的 prompt、參數與模型，也能設定何時進出佇列。agent 之間由 orchestrator 決定下一個是誰，supervisor 再從更高處監督 orchestrator。
8. 09:03預訓練與模型副本雜湊換 Robert 接手，主張資料與訓練程式碼要一起看。分散式訓練的各副本權重應該完全相同，所以定期比對雜湊，不一致就中止訓練。
9. 10:38壞 GPU兩次設定完全相同的訓練，其中一次混進一張壞 GPU，造成靜默資料損毀：loss 曲線起伏、gradient norm 偏大。雜湊檢查抓得到這種情況。
10. 11:27BF16 累加精度問題Laguna M.1 初版訓練大約 50,000 步後不再收斂。unembedding 前的 activations 越來越大，累加用 BF16 精度不夠；從那個 checkpoint 改成 FP32 後重新收斂。
11. 12:46從 M.1 到 XS.2把資料與數值上的教訓帶進 XS.2：提高多樣性、減少重複、修好數值問題、加強觀測。XS.2 是開放權重，主攻 agentic coding。
12. 13:18放大成 Laguna S33 billion 參數的 XS.2 太小，看不出放大後的問題。Laguna S 放大到 118 billion 總參數、8B 啟用參數，用 30 trillion tokens 與 4,000 GPUs 訓練，目前還沒公開。
13. 14:06FP8 kernel 的競態加入以 DeepGEMM FP8 kernels 為基礎的 FP8 訓練後，出現非法記憶體存取與 NaN，追到 kernel 的競態；大約 0.5% 的 gradient 被隨機值蓋掉。修正已送 PR，還沒合併。
14. 14:36雜湊檢查的盲點真正的訓練沒有「權重與資料都相同」的冗餘副本，所以雜湊驗不到前向與反向在各副本是否一致。團隊正在做至少能用 dry run 檢查這件事的 hash checker。
15. 15:09Laguna S 的早期評測這是 base model 評測。程式碼基準上贏過 XS.2、M.1 與幾款對照模型，SWE-bench Agentless Multilingual 領先所有受測模型。MMLU-Pro 這類知識基準不是重點，落後的部分來自資料。
16. 16:44配方撐住，繼續放大前面的發現都已納入配方，配方放大後依然成立，之後會繼續放大；Laguna S 不久後會以開放權重釋出。

值得記的話5 句

• at Pulsai, we don't see it as a way to replace organic data.在 poolside，我們不把它當成取代有機資料的方法。Pulsai 就是 poolside01:56

• so break down the task make it simpler所以把任務拆開、讓它簡單一點06:12

• If you've got data, that sucks, you can't train a good model.資料很爛，就訓練不出好模型。Robert 接著說訓練程式碼很爛也一樣09:18

• that broken GPU caused silent data corruption那張壞掉的 GPU 造成了靜默的資料損毀10:54

• the recipe held, it scaled, and we will continue scaling it from here.配方撐住了，也放大了，我們會從這裡繼續放大16:44

名詞與人物9 個

Laguna M.1

poolside 的第一代開放權重模型，初版訓練在大約 50,000 步碰到 BF16 累加精度問題

Laguna XS.2

新一代、33 billion 參數的開放權重模型，主攻 agentic coding，也是放大成 Laguna S 之前的試驗場

Laguna S

118 billion 總參數、8B 啟用參數的新模型，這場是預覽，還沒公開

automixer

在昂貴實驗之前，先便宜地掃過各資料叢集的混料工具

Hive

poolside 生成合成資料的基礎設施，用佇列、orchestrator 與 supervisor 管理多個 agent

模型副本雜湊

對分散式訓練各副本的權重算雜湊、定期比對，不一致就中止訓練

BF16 / FP32

兩種數值精度；M.1 的 unembedding 累加原本用 BF16，改成 FP32 後恢復收斂

DeepGEMM

開源的 FP8 kernels，Laguna S 的 FP8 訓練用到它，競態就出在這裡

SWE-bench Agentless Multilingual

poolside 在預訓練期間拿來代表 agentic 表現的基準

提到但沒有展開

• Robert 說 Laguna S 在 MMLU-Pro 這類知識基準上不如 Nemotron 3 Super 與 DeepSeek V4，主要是資料的差距，想補的話補得起來；團隊比較在意的是程式碼。
• Robert 提到 BF16 累加那次之所以嚴重，是因為問題發生在 unembedding，從那裡開始會一路反向傳播進整個模型主幹。

模型開源研究

在 YouTube 看原片 ↗