用蒸餾把持續學習帶進企業

102Samuel Denton（Applied Compute）19:022026-08-12 上架

Bringing Continual Learning into Enterprises — Samuel Denton, Applied Compute

Applied Compute 的 Samuel Denton 把蒸餾拆成 traces 離線到線上、提示離線到線上兩條軸，用兩個實驗說明企業怎麼從現有的 production traces 拿到改進。

這場講了什麼

• 蒸餾是一條光譜：一端是一次性的一批 production traces，中間是每天收一批，另一端是推論與訓練合一、邊服務邊更新模型的線上持續學習。Applied Compute 想在光譜上的每個位置都接住企業。
• 提示是第二條軸：蒸餾要有比 student 更聰明的 teacher，靠的是提示或特權資訊。提示可以來自靜態資料（離線），也可以從這次的線上 rollout 動態產生（線上）。
• 四個象限，主攻兩個：離線提示加離線 traces 讓企業今天就能改進，不需要重播 production 環境；線上提示加線上 traces 是最能擴張的做法，補完整個 flywheel。
• 不依賴標準答案：很多蒸餾研究預設手上有 golden answer，Samuel 對這點很不滿，目標是不必每個任務都配一份完美的 rubric 也能做持續學習。
• 兩個實驗的結果：離線設定下，agent 呼叫提交工具的比例從約 22% 升到 60%，測試通過率沒掉；線上設定下，超連結格式的正確率從約 15% 升到約 80%。
• 兩個實作技巧：提示逐步插入，只對接下來一兩步做蒸餾；用 LLM judge 挑出要從 teacher 學的 token。

影片從哪一段開始看12 段

1. 00:12開場與議程Samuel 帶 Applied Compute 的 platform research 團隊，這場依序講蒸餾光譜、價值落在哪裡、企業裡的實驗數據，時間夠再講技巧。
2. 01:15離線到線上的光譜左端是一次性的 production traces，中間是每日批次，右端是推論與訓練合一的線上更新；很多企業目前在左側。
3. 03:47提示這條軸teacher 要靠提示或特權資訊才會比 student 強；離線提示來自靜態資料，例如已知的 rubric 或「客服太容易退款」這類行為先驗，線上提示從這次 rollout 動態建構。
4. 05:05四個象限兩條軸交叉得到四種蒸餾；第三象限是在離線 trace 的某一點讓 on-policy 模型走一步，再針對那一步建構提示。
5. 07:43主攻象限一與象限四象限一不需要重播環境，用離線提示鎖定特定行為；象限四可以接可重播的環境或真實流量，是最能擴張的方案。
6. 09:14價值落在哪裡今天靠離線 production traces 免費改進，之後隨著服務與訓練的基礎設施合一，持續抬高上限；全程不靠 golden answer。
7. 10:39實驗一：提早提交Qwen 3.5 thinking 模型在 SWE-bench 上要到 80 輪才提交，目標是讓它在第 40 輪前呼叫提交工具；提示提醒快到輪數上限，呼叫率從約 22% 升到 60%，測試通過率沒掉。
8. 13:39讓模型多走一步在離線 trace 的某一點讓 on-policy 模型走一步，teacher 開始鼓勵直接呼叫提交工具，SWE-bench 通過率比純離線更高。
9. 14:17實驗二：超連結格式客戶的 harness 要求特殊的超連結格式，加 reward 或做 SFT 都會拖垮 coding 能力；改用線上提示後正確率升到約 80%。
10. 16:14技巧：逐步提示用 judge 決定在 rollout 的哪個位置插提示，只對接下來一步或幾步做蒸餾；離提示越遠，KL 學習訊號越低。
11. 17:03技巧：relevance mass 蒸餾用 LLM judge 挑出要學的 token，避開 teacher 偏愛的連接詞，更學得會分布外的行為，也比較不會整體崩壞。
12. 17:40總結離線提示加離線 traces 第一天就有價值；線上提示加線上 traces 是上限最高的持續改進，因為 judge 能跟著線上模型的行為調整。

值得記的話5 句

• Our goal at Applied Compute is to meet enterprises where they are我們在 Applied Compute 的目標，是在企業現在所在的位置接住他們03:25

• We can improve for free today, and we can raise all ceilings tomorrow.今天可以免費改進，明天可以把所有天花板抬高09:14

• we want to do this without having access to some golden answer我們希望做到這件事，而且不需要拿到某種標準答案09:47

• the teacher doesn't force the tool call, it just starts to force the reasoning path towards the tool callteacher 沒有強迫呼叫工具，只是把推理路徑推向呼叫工具13:24

• per step hinting is very, very important to making distillation work逐步提示對蒸餾能不能成功非常重要16:14

名詞與人物9 個

Applied Compute

Samuel 任職的公司，自己在那裡帶 platform research 團隊

distillation（蒸餾）

用比 student 更聰明的 teacher 帶出更好的模型，這場把它當成持續學習的核心工具

hint（提示）

讓 teacher 比 on-policy 模型更聰明的資訊，分成來自靜態資料的離線提示與來自這次 rollout 的線上提示

production traces

production agent 實際跑出來的軌跡，是這場所有蒸餾的原料

on-policy

由目前這個模型自己產生的 rollout，相對於事先錄好的 production trace

golden answer

蒸餾研究常預設手上有的標準答案；Samuel 希望做到不依賴它

SWE-bench

實驗一用的 benchmark；pass rate 要同時滿足「有呼叫提交工具」與「通過全部測試」

Qwen 3.5

實驗一用的 thinking 模型

relevance mass self-distillation

用 LLM judge 取樣並挑出要從 teacher 學哪些 token 的做法

提到但沒有展開

• 第二象限是離線提示加線上 traces：讓線上 agent 做 rollout，在所有 rollout 裡注入同一句提示，更新 policy 之後繼續服務 production 流量。
• 實驗二也拿離線提示比過：每次 rollout 都套同一句「超連結要這樣格式化」，行為只爬升一點，遠不如線上提示。

模型研究Agent

在 YouTube 看原片 ↗