後訓練的資料與環境整理方法

071Mahesh Sathiamoorthy（Bespoke Labs）19:112026-07-31 上架

Data and Environment Curation for Post-Training LLMs — Mahesh Sathiamoorthy, Bespoke Labs

Bespoke Labs 的 Mahesh Sathiamoorthy 從 OpenThoughts 的整理配方談到企業落地案例，主張資料才是後訓練的瓶頸。

這場講了什麼

• 瓶頸在資料，不在基礎設施：Mahesh 認為後訓練不論做 SFT 或 RL，資料都是卡關的地方。後訓練的服務商與流程已經算成熟，企業和前沿實驗室缺的是品質夠好的資料與 RL 環境。
• OpenThoughts 是一套整理配方：從來源問題、混合、篩選，到用老師模型產生答案再過濾，每個階段都靠消融實驗決定怎麼選。Mahesh 說這套配方放大資料量時指標會跟著上升。
• 直覺會失靈的幾個發現：每個問題取樣多個答案效果不錯；比較強的模型不一定是比較好的老師；合成問題的產生有用，答案過濾卻沒什麼效果。
• 做 agent 時結論相近：OpenThoughts agents 同樣發現強模型不一定是好老師，多取樣有幫助，task augmentation 沒有預期中有效。SFT 仍然貢獻很多進步；RL 很吃算力，在最後那幾個百分點上真的有幫助。
• 企業案例靠標籤穩住數字：Intuit 的 Credit Karma 要解釋信用卡推薦理由，並維持合規。團隊在訓練資料裡加標籤，讓模型專注句子的形式，不去亂編數字。合規、延遲、吞吐量都改善，Intuit 也能自己擁有這個模型。
• 完整的後訓練堆疊分三層：最上層是 SFT、RL 與 prompt 最佳化，中間是環境的建置、品質衡量與版本管理，底下是沙盒與長時程 rollout 所需的快照和回滾。

影片從哪一段開始看13 段

1. 00:12開場與 Bespoke LabsMahesh 是 Bespoke Labs 共同創辦人兼 CEO，先前在 Google DeepMind 做研究與工程；公司幫企業與前沿實驗室取得後訓練用的高品質資料與 RL 環境。
2. 00:52公司做過的事去年推出 Curator 這套合成資料工具，接著在 DeepSeek 出現後開始整理推理資料，一路發展成 OpenThoughts，也參與 Terminal-Bench。
3. 02:04做資料與用資料的落差做環境的人和用環境的研究者之間有落差，Mahesh 主張兩邊都做，整理資料時要站在研究者的位置想怎樣才推得動指標。
4. 02:39從知道到做到早期評估模型看它知道什麼，現在的基準測的是 agent 能做什麼；大家真正在意的是 agent 能自主運作多久。
5. 03:48可靠性與後訓練自主性的阻礙是可靠性，改善手段包括 prompt、harness，後訓練則是前沿實驗室提升能力與自主時間的主要機制之一。
6. 04:46資料是瓶頸後訓練的模型與基礎設施都有現成選擇，企業缺的是資料與 RL 環境；後訓練也能降低延遲與成本。
7. 06:59OpenThoughts 的由來DeepSeek 出現後社群缺少高品質推理資料，Bespoke 與 Stanford、UC Berkeley、UW 等團隊組成 OpenThoughts，論文發表在今年的 ICLR，並展示資料量放大時指標跟著上升。
8. 08:39整理管線從來源問題開始，決定怎麼挑題、混合、篩選，再用老師模型產生答案並過濾，每階段靠消融實驗找出有效的做法。
9. 10:48反直覺的發現每題取樣多個答案效果好，推測是推理方式的多樣性有幫助；比較強的模型不一定是更好的老師。
10. 11:51OpenThoughts agents同樣的方法用到 agent 的資料與 RL 環境上，Mahesh 提到一些 Qwen 模型當老師似乎比 Claude 模型好；SFT 仍貢獻很多進步，RL 補最後幾個百分點。
11. 13:42Intuit 與 Credit Karma推薦理由要合規，靠長串規則會拖慢延遲，所以改用整理資料加後訓練；資料不平衡時模型會亂編 0% APR 這類數字，加標籤後改善。
12. 15:59Curator 工具可以從 Hugging Face 資料集或已收集的日誌出發取得回應再微調，並與 Tinker、Fireworks 整合，也是當初整理 OpenThoughts 用的工具。
13. 16:54參考堆疊建 RL 環境、衡量品質、版本管理，底下是沙盒與長時程 rollout 的快照回滾，上面是 SFT、RL 和靠反思最佳化 prompt 的 GEPA。

值得記的話5 句

• we have moved on from knowing to doing我們已經從「知道」走到「做到」02:56

• be it SFT or reinforcement learning data is the bottleneck不管是 SFT 還是強化學習，資料都是瓶頸04:46

• sampling multiple answers per question works pretty well每個問題取樣多個答案，效果相當不錯10:48

• stronger models are not always the better teachers比較強的模型不一定是比較好的老師11:35

• we added these tags, which helped the model to focus on the kind of form rather than the specific numbers itself我們加了標籤，幫助模型專注在句子的形式，而不是具體的數字15:07

名詞與人物7 個

Bespoke Labs

Mahesh 共同創辦的應用型資料研究實驗室，提供後訓練用的資料與 RL 環境

Curator

Bespoke 去年推出的合成資料整理工具，可從資料集或日誌出發取得回應再微調

OpenThoughts

與多所大學合作的推理資料集與論文，整理出一套可隨資料量放大的配方

OpenThoughts agents

OpenThoughts 的延伸，改為整理訓練 agent 用的資料與 RL 環境

Terminal-Bench

agent 基準測試，Bespoke 是核心貢獻者之一

Credit Karma

Intuit 的應用程式，會說明信用卡為何被推薦，是這場的企業案例

GEPA

Mahesh 提到的 prompt 最佳化方法，讓 LLM 靠反思更新系統提示與 harness

提到但沒有展開

• Mahesh 把 RL 環境也算成資料，只是形式不同；講「資料是瓶頸」時兩者都包括在內。
• Mahesh 說談後訓練的人很多，在企業裡成功落地的例子卻不多，Credit Karma 是少數拿得出來的。前沿模型越來越貴，自己擁有模型可以壓低成本，也不必跟著前沿模型的更新去改。

模型開源研究Agent

在 YouTube 看原片 ↗