用自我蒸餾把持續學習做大

110Ronak Malde（Trajectory）23:032026-08-12 上架

Scaling up Continual Learning — Ronak Malde, Trajectory

Ronak Malde 說明 GRPO 為什麼撐不起持續學習，介紹 on-policy self-distillation，以及放大到 120B 模型、50 或 100 次工具呼叫時遇到的兩個問題與解法。

這場講了什麼

• 現有後訓練有四個缺口：Ronak 拿任務分佈、是否 on-policy 取樣、平行 rollout 的基礎建設、獎勵是否落在 token 層級四項，檢視 SFT、DPO / RLHF 與 GRPO，沒有一個同時滿足。
• 用提示讓學生變成老師：on-policy self-distillation 把一段 hint 放進 prompt 開頭，同一個模型就多懂一點，再讓沒有 hint 的學生對齊有 hint 的老師，不需要更強的外部教師模型。
• 單一範例就有 token 級回饋：不需要一組 rollout，也就沒有環境基礎建設的瓶頸；每個 token 的整個詞彙分布都會被調整，不只是被取樣到的那一個。
• 放大後出現 wait 問題：長任務裡學生一偏離，老師每一步都想拉回來，結果訓練往 wait、maybe 這類猶豫詞靠攏。Ronak 提的一個解法是依學生與老師的 KL 差距，替每一步獨立加權。
• hint 會洩漏答案：學生可能直接把 hint 裡的答案搬進推理。解法有兩種：用 LLM 把 hint 改寫成模型本來就該知道的資訊，或用 residual guidance 混合半份 hint 與完整 hint 的老師。
• 離真正的持續學習還很遠：Ronak 說現在是「偽持續學習」，還是離線批次更新、再重新上傳模型；線上大量 rollout 怎麼合併，演算法與基礎建設都還沒有端到端的解法。

影片從哪一段開始看16 段

1. 00:12自我介紹Ronak 在 Windsurf 帶研究團隊，訓練出的 SWE1 促成了 DeepMind 那筆 $2 billion 的收購；後來放棄收購的錢，創辦做持續學習平台的 Trajectory。
2. 00:47基準測試與真實訊號benchmark 越做越貴、越耗時，又跟真實使用脫節；每天有數百兆 token 花在推論上，模型在真實世界的成敗正是該拿來訓練的訊號。
3. 02:43現有演算法的問題任務分佈錯位、取樣不是真正 on-policy、平行 rollout 需要大量基礎建設複製真實環境，所有獎勵還被壓成單一數字。
4. 03:46SFT 到 GRPO 回顧SFT 不需平行、獎勵在 token 層級，但不是 on-policy；DPO / RLHF 有了線上任務，取樣仍是 off-policy，改用成對資料，獎勵退回序列層級；GRPO 換到 on-policy，代價是平行 rollout 暴增，獎勵也還是整段序列。
5. 05:54GRPO 為什麼還不夠一組平行 rollout 加上結尾獎勵，就像作文只拿到「87 分」，要看很多例子才知道好作文長什麼樣子。
6. 07:14從蒸餾到 on-policy 蒸餾一般蒸餾用固定資料，把學生的 log prob 對齊更大的教師；on-policy 版只是把固定資料換成學生自己的 rollout。
7. 08:35自我蒸餾已經是最強的模型就沒有更強的老師，於是把 hint 放進 prompt，讓模型自己當老師，學生去對齊有 hint 的自己。
8. 09:41它解掉了哪些問題任務直接來自線上、取樣仍是 on-policy、不需要平行 rollout，而且每個 token 都有回饋，調整的是整個詞彙分布。
9. 10:59短任務的成果在 Live Code Bench 上 GRPO 停在 Sonnet 等級附近，OPSD 能走到新的區域，解題用的 token 也大幅減少；短任務現在就能用 OpenClaw RL 這類開源專案直接套用。
10. 12:17放大後開始壞掉Trajectory 把演算法放大到 120B、500B 到 1 trillion 參數，一到 120B、50 或 100 次工具呼叫，評測準確率就忽高忽低、每次訓練差異很大，還出現工具呼叫格式錯誤。
11. 13:17wait 問題長任務裡老師一再拉回學生，訓練把 wait、maybe 這類猶豫詞越推越多，模型卡在兩個分布中間。
12. 14:35步驟級 KL 加權拿學生與老師的 KL 差距當每一步的權重：嚴重偏離的軌跡只先調第一步；中途走偏的那段不重壓，回到正軌後只輕輕調整。
13. 15:55hint 洩漏這是 OPSD 版的 reward hacking：hint 裡有答案，學生就直接說自己知道答案，再回頭補推理，現實中不會有這種事。
14. 17:15兩種防洩漏做法用 LLM 把解答改寫成模型本來就該知道的線索，例如去翻 log，而不是直接說 SSO token 過期；或把半份 hint 與完整 hint 的老師做線性組合，不把模型推進陌生的區域。
15. 19:07結果與 Trajectory這些做法合起來，在常要 100 次以上工具呼叫的 Mercor Apex agents 上放大到 120B 模型，表現甚至超過 RL。Trajectory 的平台吃進生產環境的 agent trace，做成自助的持續學習迴圈。
16. 21:24Q&A現在只是偽持續學習；模型與 harness 同時更新時怎麼互相影響，是很少人探索的方向，Trajectory 正跟客戶在線上試。

值得記的話5 句

• imagine you were trying to write an essay, and your teacher just gave you a score of 87 out of 100想像你在寫作文，老師只給你一個 100 分裡的 87 分06:57

• But we're instead actually shifting entire distributions.我們其實是在移動整個分布10:59

• Well, there is an equivalent for OPSD as well, and that is hint leakage.OPSD 也有對應的問題，就是 hint 洩漏15:55

• software, in general, just gets smarter every single time it's used軟體整體來說，每被使用一次就變聰明一點19:56

• we're in this zone of what I call pseudo-continual learning我們現在處在我所說的偽持續學習階段21:24

名詞與人物8 個

Trajectory

Ronak 創辦的公司，做持續學習平台，把生產環境的 agent trace 轉成模型與 harness 的改進

Windsurf

Ronak 先前任職的公司，在那裡帶研究團隊、訓練出 SWE1

GRPO

目前主流的後訓練方法：一組平行 rollout 加結尾獎勵，依相對平均的優勢更新模型

OPSD（on-policy self-distillation）

把 hint 放進老師的 prompt，讓沒有 hint 的學生對齊有 hint 的自己

hint（privileged information）

關於環境或解法的額外資訊，最簡單的形式是一份標準解答

hint leakage

學生推理時直接搬用 hint 裡的答案，是 OPSD 版的 reward hacking

residual guidance

把半份 hint 的老師與完整 hint 的老師做線性組合，避免把模型推得離原分布太遠

OpenClaw RL

可以直接套用 OPSD 的開源專案，用來做簡單的聊天機器人，從非結構化的使用行為中學習

提到但沒有展開

• 整個詞彙分布都會動是什麼意思：每個 token 背後約有 65K 個候選，模型寫 Python 的 for loop 時，老師會把學生原本沒取樣到的 token 推上來，而不是像 RL 只把原本的分布磨尖一點。
• hint 洩漏的例子：題目要算某個式子的最後三位數，hint 直接寫答案是三個 0，學生 rollout 時就說「我知道答案是 000」，再回頭把它塞進推理過程。
• Trajectory 已經讓 Harvey、Decagon、Rogo 提早使用平台。

Agent研究模型

在 YouTube 看原片 ↗