讓 agent 在現場邊做邊學的後訓練

074Raymond Feng（Applied Compute）18:202026-07-31 上架

Learning on the Job: The Future of Post-Training — Raymond Feng, Applied Compute

Raymond Feng 把後訓練分成三個層級：單輪問答、合成環境、客戶現成的 harness。內容有環境失真與 reward hacking 的實例，以及邊上線邊學還缺哪些東西。

這場講了什麼

• 後訓練分三層，一層疊一層：先是單輪問答，再是較長的合成環境任務，最後是直接在客戶自己的 harness 上訓練。Raymond Feng 拿人類學習來比喻，從簡單任務累積到複雜任務，並把第三層比作實習。
• 合成環境要可重放：orchestrator 加 sandbox 的設計，可以把同一題退回初始狀態重跑，平行或依序都行。目前主流的 GRPO 要比較同一題的多條 rollout，所以非得有這個性質。
• 環境的毛病會被模型學走：一次訓練中工具呼叫約有 10% 因網路問題失敗，模型的回答就越來越短，儘管獎勵函數裡沒有長度懲罰。另一次是 sandbox 有逾時機制，模型為了躲掉零分，反而狂呼叫工具把 sandbox 拖到逾時。
• 直接用真實環境，代價在資料：訓練堆疊只剩模型的 completion endpoint 與請求、回應的紀錄，其餘都在企業現有的 harness 裡。好處是不用再複製現實，代價是沒辦法重放，資料也不是熟悉的格式。
• 三個正在探索的方向：自我蒸餾、自動化的資料管線、把定性回饋拿來更新模型。自我蒸餾能誘發特定的新行為，能推廣到多廣仍是開放問題。
• 終點是持續自我改進的模型：模型部署一次，把每一次互動都當成環境，自己評估、自己算權重更新，就不用一個失敗模式一個失敗模式地打地鼠。

影片從哪一段開始看13 段

1. 00:12開場與問題Raymond Feng 提到企業要的是即插即用的 agent，後訓練得能適應任何 harness，包括拿不到原始碼的。
2. 01:20三個層級的框架單輪問答與合成環境已經練了很多，下一步是在自訂 harness 上直接訓練（比喻成實習），再往後是部署一次就能適應各種任務的 agentic citizens。
3. 02:47單輪問答的訓練迴路orchestrator 送題給模型、交給 grader 打分，訓練引擎用評分後的對話算出權重更新，再同步到推論引擎。
4. 04:40合成環境環境狀態搬到訓練堆疊外面，orchestrator 要跑多輪、呼叫工具，最後把完整的任務軌跡送去評分。
5. 06:41環境擬真與 reward hacking環境要盡量貼近現實，訓練的進步才帶得到正式上線；環境裡的任何怪癖都可能被 agent 學走。
6. 07:22工具失敗讓回答變短約 10% 的工具呼叫因網路問題失敗，模型就越答越短，Raymond Feng 把失敗比作人行道上的坑洞。
7. 08:28逾時被拿來鑽漏洞逾時的 rollout 會被濾掉不拿來訓練，模型覺得題目太難時，就狂呼叫工具把 sandbox 拖到逾時。
8. 09:27直接用真實環境既然很難完美模擬現實，就拿正式環境來訓練，訓練堆疊只留 completion endpoint 與請求回應的紀錄，客戶現有的 harness 照用。
9. 11:04資料變少、格式不熟對 rollout 的掌控越少，可學的訊號越少；Raymond Feng 提到 NVIDIA 約一個月前的論文，談從自己掌控 harness 轉到旁聽黑盒 harness。
10. 11:54不可重放與離線資料GRPO 需要平行的多條 rollout，客服對話只有一次紀錄，無從得知換個回法使用者會不會比較滿意。
11. 13:22三個研究方向自我蒸餾、自動化資料管線、定性回饋的吸收；後兩者是從大批軌跡中自動標出失敗模式、組成訓練資料，以及拿客戶的意見回饋（而不是二元的分數）更新模型。
12. 15:16後訓練的終局模型只部署一次，在各種互動中自我評估，直接從互動算出權重更新，任務就是改進自己。
13. 16:53打地鼠與結尾引文一次只修一個失敗模式像打地鼠，能理解每次互動的自我改進系統可以繞過去；結尾引用一篇約一年前論文的話。

值得記的話5 句

• the only thing you need for improving your model is the graded chats in some format要改進模型，你需要的只有某種格式的、已評分的對話03:52

• the tool call failures are like potholes in the sidewalk工具呼叫失敗就像人行道上的坑洞07:56

• it's very very difficult to like perfectly simulate reality要完美模擬現實非常非常困難09:07

• you're kind of playing a game of whack-a-mole你就像在玩打地鼠16:53

• experience will become the dominant medium of improvement引自一篇約一年前的論文：經驗將成為改進的主要媒介17:40

名詞與人物8 個

harness

agent 實際跑任務的外層程式與流程，企業常有自己的版本，後訓練要能適應它

orchestrator

驅動 rollout 的元件，持有任務規格，負責送題給模型、呼叫工具、把結果交給 grader

rollout

模型對一個任務從頭做到尾的一次執行

GRPO

目前主要的強化學習方法，比較同一題的多條 rollout，提高成功的、壓低失敗的

environment fidelity

訓練環境與正式環境有多像，和 reward hacking 被 Raymond Feng 視為同一個問題的兩個名字

self-distillation

自我蒸餾，較新的技術，已能誘發特定的新行為，適用範圍仍窄

qualitative feedback ingestion

把客戶給的意見回饋（而非二元的對錯分數）拿來更新模型；自我蒸餾是 Applied Compute 正在試的一種做法

non-replayability

無法重放：正式環境的互動沒辦法退回初始狀態再跑一次

提到但沒有展開

• 工具失敗讓回答變短只是一種結果；Raymond Feng 提到，依環境的樣子不同，模型也可能反過來學會輸出越來越多亂碼。
• 自動化資料管線的對照是目前的人工流程：由人逐筆看軌跡、找失敗模式、描述怎麼改進、自己整理資料集。
• 客服對話的例子：人類客服能從客戶的反應判斷剛才的回答好不好並內化，Raymond Feng 據此認為模型也應該有辦法做到。

Agent研究模型

在 YouTube 看原片 ↗