你的進度這一站 28 場，你看完 0 場

沒有標準答案時怎麼做 RL

075Will Brown（Prime Intellect）19:262026-07-31 上架

Reinforcement Learning without Verifiable Rewards — Will Brown, Prime Intellect

Will Brown 談沒有可驗證獎勵的真實任務，如何靠 grounding、judge 與搜尋造出訓練訊號，讓 agent 上線後持續學習。

這場講了什麼

可驗證獎勵只是容易的那種：數學題有數值答案、程式有測試、工具呼叫有資料庫狀態，都能直接檢查。寫報告、訂機票、處理退款這類真實任務沒有乾淨的標準答案，獎勵設計才是難處。
環境和評估是同一種東西：Will Brown 把環境定義成任務、harness 與獎勵，並說同一套東西可以拿去產生 SFT 用的資料、跑 RL、做 on-policy distillation 或提示詞最佳化，也能當測試平台。
目標是持續學習：模型部署在複雜、混亂的真實環境裡，犯了錯能自己察覺、下次不再犯，人只在適當的抽象層級介入。Will Brown 認為現在的抽象層級太低，多數人用不起來。
用 traces 和倒推造出訊號：把已上線 agent 的 traces、文件、程式庫當素材，從已知可達成的終點倒推任務，再丟掉解答讓模型重新去找。程式可以用真實的 PR，混亂的工具與網站則先模擬出後端。
把算力花在 judge 與搜尋上：事後回頭看比較容易看出哪裡做錯，可以用多個模型的共識抽出 rubric；任務難度、模擬器、紅隊測試與 reward hack 偵測也都能用算力去磨。
訓練實驗也算環境設計的一部分：有些問題要真的跑 RL 才會出現，所以先用小規模訓練觀察行為變化，最後把最重要的判斷交回給人。

影片從哪一段開始看14 段

00:13開場與主題Will Brown 說 RLVR 這一年多成了擴大 RL 的主流，但真實任務常常沒有可驗證的獎勵，這場談怎麼把 RL 延伸過去。
01:15RL 快速回顧agent 是模型加 harness，放進環境裡互動；獎勵減去 baseline 得到 advantage，再用 rollout 更新 policy，也就是模型權重。
02:33Prime Intellect 的工具從運算層到 PrimeRL 訓練框架、環境與 verifiers，再到做託管訓練、評估與推論的 Lab，目標是讓更多人成為自己的研究實驗室。
04:04環境就是評估環境是任務、harness 與獎勵，也可以用來產生 SFT 資料；數學、程式、工具使用都是能直接檢查的容易情況。
04:54真實任務難在哪報告、訂機票、退款沒有乾淨答案；新模型發表時看的 benchmark 常是幾百題、由一群研究者花數月手工打磨，不好擴張，還有分布未知與 reward hacking 的問題。
06:35持續學習的目標模型在真實環境邊做邊學、事後發現錯誤，同時要能補進新知識，實驗還要可監控、可追蹤、可重播。
08:26製造訊號的三招grounding（有無素材的 A/B 對照造出能力落差）、judge 與擴大搜尋。
09:43用 production traces 當素材已部署 agent 的使用者 prompt 與子 agent 呼叫，還沒有標籤，但已經告訴你任務分布長什麼樣。
10:46倒推出任務文件可以生成並驗證問答，再丟掉最初的搜尋；程式則拿真實 PR 的 diff、描述與測試拆解，重播成一條可達成的路徑。
12:05世界模擬器對沒辦法掌控後端的 MCP、CLI 工具與網站，用通用後端基礎設施加搜尋去模擬，並拿 traces 校正，就能在模擬器裡埋答案、倒著做。
13:21擴大 judge 與搜尋事後回頭看比較容易看出錯在哪，例如七個不同的模型都認為某一步有錯，就能從這類判斷抽出 rubric；也用算力調任務難度、打磨模擬器、紅隊測試和辨認 reward hack。
15:51訓練實驗併進環境設計有些問題要真的跑 RL 才會出現，所以在單一環境上拿個別模型跑小規模訓練，記錄工具呼叫並用 judge 看行為怎麼變，最後把最關鍵的問題交給人判斷。
16:53近期的兩篇成果General Agent 那篇部落格示範工具使用的線上迴圈：生成、解題、合成新任務，依通過率篩選後拿來訓練，在常見的工具使用 benchmark 上有明顯提升。另一條線是除了 RL，也讓 agent 從環境本身拿監督訊號，對環境建立原生的世界模型。
18:45收尾：閉合迴圈模型在護欄內到 production 找問題，再轉成新任務訓練，人退到更高的抽象層級。

值得記的話5 句

And verifiable rewards are the easy case where we just kind of can check exactly was something done correctly or not.可驗證的獎勵是容易的情況，我們可以直接檢查事情有沒有做對04:38
reward hacking is when you have a kind of loose proxy for your objective that is undefined at the boundariesreward hacking 是指你的目標只有一個寬鬆的代理指標，在邊界上又沒有定義06:15
we want models to be deployed in relatively realistic, complex, messy settings, and to be able to learn as they go我們希望模型被部署在相當真實、複雜又混亂的環境裡，並且能邊做邊學06:51
anything where you can move backwards like this is super useful for kind of getting supervision for free.任何能像這樣倒著做的情況，都很適合用來免費取得監督訊號11:18
it will make mistakes along the way and it's easier to tell what went wrong in hindsight.過程中它會犯錯，而事後回頭看比較容易看出哪裡出了問題13:21

名詞與人物9 個

RLVR: 用可驗證獎勵做的 reinforcement learning，Will Brown 說它是這一年多來擴大 RL 的主要方式
harness: 和模型合在一起構成 agent 的那一層；環境則是任務加世界（Docker image、程式庫、工具、應用程式等）與評分規則
advantage: 獎勵減去某個 baseline、可能再做縮放的值，用 rollout 算出來，拿去更新 policy
reward hacking: 目標只有寬鬆的代理指標時，模型找到爬高獎勵卻沒做到真正想要的事的路徑
grounding: 手上有素材，並能比較有沒有素材時的表現，用這個落差當作學習訊號
rubric: 從多個模型事後判斷的共識裡抽出來的問題，用來便宜地稽核 rollout，也指向該針對的失敗型態
PrimeRL: Prime Intellect 的訓練框架，支撐他們的大規模 RL 與其他演算法
Lab: Prime Intellect 以環境為核心的訓練平台，涵蓋託管訓練、評估與推論
General Agent: Prime Intellect 近期的一篇部落格，示範工具使用上生成、解題、合成新任務並依通過率篩選的線上迴圈

提到但沒有展開

模擬器的做法是在模擬器與真實環境之間反覆迭代，用 production traces 校正，模擬器越做越準，同時握有後端的完全控制權。
RL 擅長打磨技能，但不擅長放進大量新知識；Will Brown 提到讓模型同時吃環境產生的監督訊號，是補上這一塊的方向之一。這部分是合作的研究者先做，Prime Intellect 再自己深入研究。
很多 reward hack 是人一看就知道的，judge 通常也抓得出來。直接叫模型不要這樣做，它在 rollout 裡不一定照辦，但事後可以回頭花算力檢查；持續累積 reward hack 的實例，就知道哪些地方容易出錯。

Agent研究評估開源

在 YouTube 看原片 ↗