把 agent 當機器學習來評估

037Alex Shaw + Ryan Marten（Terminal-Bench, Harbor, Laude Institute）21:112026-07-24 上架

Everything Is a Rollout — Alex Shaw + Ryan Marten, Terminal-Bench, Harbor, Laude Institute

Alex Shaw 把 agent 開發逐項對照機器學習，說明為什麼要靠環境與 rollout 來評估 agent，再介紹 Harbor 能拿來做什麼、常見的四類 eval 與社群案例。

這場講了什麼

• agent 的表現要當黑盒子：Francois Chollet 有則推文說 agentic coding 是一種機器學習，產生的程式碼要當黑盒子、靠實測來管理。Alex Shaw 把它推廣到所有 agent：不只程式碼，agent 的表現本身也是黑盒子。
• 開發流程對得上機器學習：訓練資料對應環境，驗證集對應 evals，模型權重對應 skills、prompts、tools，梯度下降的一步對應一個 pull request，過擬合對應 reward hacking。左邊早就有一整排產品，右邊才剛起步。
• 環境加 rollout 是基本單位：一個環境由指令、沙盒、verifier 組成；rollout 是把沙盒交給 agent 跑完、再交給 verifier 打分，許多 rollout 的 reward 彙總起來就是 eval 結果。
• 先做 eval，再針對它優化：Alex Shaw 引 Satya Nadella 的話，手上有自己的 eval，就不必相信品牌或別人的榜單，可以自己在成本與表現之間取捨。常見的 eval 有四類，從 agent 幫你寫產品到 agent 自動化內部流程。
• Harbor 不只拿來跑 eval：還有人把任務當資料賣、用 prod rollouts 做 agentic map reduce、拿軌跡做 SFT 與強化學習、用文字回饋自動調 harness。
• 社群已經在上面蓋東西：Cognition 把所有 eval 搬上 Harbor，Poolside 拿它做模型訓練的評估，Scale、Handshake、Snorkel 也各自發表了建在 Harbor 上的 benchmark。

影片從哪一段開始看14 段

1. 00:16回到 2018 年Alex Shaw 自我介紹後帶大家回到 2018 年：GPT-1 剛出、Musical.ly 準備改名 TikTok、AirPods 剛出現，再唸一則推文，描述當年審一個 400 行 pull request 的日常。
2. 02:44軟體工程的定義歷史書會說，軟體工程就是程式跑之前你就知道它會做什麼；對照的是 Francois Chollet 那句 agentic coding 是一種機器學習。
3. 03:19電話號碼範例2018 版用 regex 抽電話號碼，跑一百萬次結果都一樣；換成 GPT-5.5 能處理格式奇怪的號碼，卻不能保證每次輸出相同，任務越複雜越不確定。
4. 04:59機器學習對照表把 Chollet 的話推廣到所有 agent，逐項對照機器學習與 agent 開發；現在用 agent、做 agent 的人，大概已經比做過機器學習的人多一個數量級。
5. 08:01環境是什麼環境由指令、沙盒與 verifier 組成，Harbor 用一個檔案目錄來描述，這種目錄格式已經有不少人採用，環境因此可以在不同人手上互通。
6. 09:12Harbor rollout 流程起沙盒、交給 agent 跑、產生軌跡、交給 verifier 給 reward，再彙總成 eval 結果；實際上還支援多步驟、在另一個沙盒驗證、模擬使用者。
7. 10:33Harbor 是什麼一種環境格式、一個能平行跑 rollout 的開源框架，也是一個 registry，目前大約收了 300 或 400 組 eval。
8. 11:22誰需要 evals每一家用電腦做事的公司都該評估哪些流程能交給 AI；第一步做 eval，第二步針對它優化。
9. 12:46四類 eval評估 agent 幫你寫產品、agent 使用你的產品、agent 驅動產品功能，以及 agent 自動化內部流程的能力。
10. 14:13命令列 eval 示範用 Harbor 跑 Terminal-Bench 2.1，搭配 Codex 與 GPT-5.5、64 個平行，並示範即將推出、直接在 Harbor 伺服器上跑 rollout 的指令。
11. 15:26賣任務與 prod rollouts專家把想自動化的任務寫成資料，賣給訓練模型的實驗室；Harbor 也能單純拿來大量平行跑 agent 再彙總結果，也就是 agentic map reduce。
12. 16:52Harbor exec 示範拿自己六月下旬的 Codex 工作階段，找出被糾正過的錯誤，再彙總成一份回饋檔；map 用便宜又快的 Cursor CLI，reduce 交給 Fable 求準確。
13. 18:31訓練與優化軌跡可以拿去做 SFT，軌跡加 reward 可以做強化學習，文字回饋與 eval 也能用來自動爬坡調整 harness。
14. 19:02社群案例快速點過一串建在 Harbor 上的 benchmark、評估流程與整合。

值得記的話5 句

• agent performance itself is best treated as a black box artifactagent 的表現本身最好當成黑盒子產物來看。這句是把 Chollet 推文裡的 generated code 換成 agent 的表現04:59

• Your gradient descent step looks like a pull request梯度下降的一步，看起來就像一個 pull request06:25

• using any agent with any model in any sandbox on any task用任何 agent、任何模型、在任何沙盒裡跑任何任務。這是在描述 Harbor10:52

• step one build the eval step two kind of optimize against it第一步建 eval，第二步針對它優化12:29

• rollouts can take a while, which is another case for parallelizing as much as you possibly canrollout 要跑很久，這也是要盡量平行化的另一個理由15:08

名詞與人物10 個

Harbor

Alex Shaw 介紹的 agent 評估與 RL 環境框架，同時是環境格式與 eval 集的 registry

Laude Institute

Alex Shaw 任職的單位

Terminal-Bench

這場示範用的 benchmark，跑的是 Terminal-Bench 2.1

rollout

把沙盒交給 agent 跑完、再由 verifier 打分的一整輪流程

verifier

環境裡判斷 agent 有沒有完成任務的部分，可以是程式測試、rubric 或另一個 agent

reward hacking

agent 鑽評分機制的漏洞；Alex Shaw 把它對應到機器學習的過擬合

Francois Chollet

發了「agentic coding 是一種機器學習」那則推文的人

agentic map reduce

在大量沙盒上平行跑 agent，再把結果彙總起來

harbor exec

為 agentic map reduce 這個意外冒出來的用法做的指令，Alex Shaw 說它不久會拿掉

GEPA

Alex Shaw 舉的文字式優化演算法，在對照表裡對應機器學習的 optimizer

提到但沒有展開

• 把任務當資料賣給實驗室的市場，Alex Shaw 說現在大概是 multi-billion dollar 的規模，Harbor 格式的資料只是其中一部分。
• Ramp 最近用自家程式庫做了一套 SWE-bench 式的 benchmark，用來挑出在內部用途上表現最好的 coding agent 與模型。
• harbor exec 的 reduce 步驟找出的反覆錯誤，可以拿來設計下一批 Harbor 任務，回頭評估、挑選 agent 或訓練 skill。

評估開發工具開源Agent

在 YouTube 看原片 ↗