讓 agent 連跑數小時的 harness

概要

• 長時間執行卡在三件事Andrew 把困難分成 context、planning 與自我評估。context 有限、會 rot，模型也不擅長規劃；還指出模型很不會評斷自己的產出，容易覺得做得差不多了就往下走。
• 模型與 harness 一起演進Andrew 的回顧裡，每次模型發表，Claude Code 與 Claude Agent SDK 也跟著釋出新的 harness 功能。展示的圖顯示，最小 scaffold 下的可執行時間從約 1 小時拉到 12 小時，但 harness 不會跟著消失，而是隨模型改變。
• 用獨立的 evaluator 取代自我檢查Ash 的做法借 GAN 的對抗概念，把 generator 與 evaluator 拆成各自的 context 與 system prompt，evaluator 用 Playwright 實際操作頁面再回饋批評。理由是把獨立的 critic 調嚴格很可行，要 builder 對自己嚴格則不然。
• planner 只寫高層 spec，細節靠 contractplanner 把一句話的需求拆成數個 sprint，不碰技術細節，以免錯誤在多小時的流程裡層層放大。generator 與 evaluator 動工前先協商「做完」的定義，透過磁碟上的檔案來回，之後 evaluator 以這份 contract 打分。
• 同一個 prompt，有無 harness 差很多Ash 用「build a retro game maker」對照單一 loop 與完整 harness，後者約花 200 美元、6 小時，play mode 真的能動；並說兩者的差別完全來自 scaffolding。
• harness 要隨模型簡化Ash 說從 Opus 4.5 到 Opus 4.6，context 重置與 sprint 拆解都能拿掉，evaluator 也從每個 sprint 跑一次改成最後跑一次，planner、generator、evaluator 的核心留著。Q&A 另外談到信任、重來、brownfield 的適用範圍與讀 trace 的重要。

原話

• “the harness doesn't just disappear as the models get better, it's really evolving as the models change over time”

  模型變好，harness 不會就此消失，而是隨模型改變

  ▶ 16:35

• “tuning a standalone critic to be harsh is actually very tractable. But tuning a builder to be somewhat self-critical is not.”

  把獨立的 critic 調嚴格其實很可行，要 builder 對自己有些批判則不然

  ▶ 19:57

• “The lesson isn't necessarily our harness was wrong, but rather it was right for 4.5, the frontier moved”

  教訓不是 harness 錯了，而是它對 4.5 是對的，前沿已經移動

  ▶ 35:47

• “self-evaluation very much a trap just use an adversarial evaluator”

  自我評估很容易是陷阱，直接用對抗式的 evaluator

  ▶ 38:58

• “I do think it's like a really important skill when building agents in general, is to, like, empathize as much with the model.”

  我認為做 agent 很重要的一項技能，就是盡量對模型感同身受

  ▶ 1:13:25

延伸

• 第一代 harness 把 feature list 存成 JSON，因為他們發現模型容易覆寫 markdown 檔，卻比較不會去改 JSON；Q&A 裡也有一位講者說，自己會讓 agent 把學到的東西與狀態寫進 JSON，留給下一個模型或人接手。
• Andrew 轉述 Ralph loop 背後的想法：可預期地失敗，比不可預期地成功好。
• Ash 說拿掉 context 重置的原因是 Opus 4.5 有很嚴重的 context anxiety，Opus 4.6 經過 post-training 就沒有這個問題。
• 讀 trace 那題的回答舉了做瀏覽器操作 harness 時的練習：閉著眼睛操作網頁，每 10 秒睜眼看一次靜態畫面，體會模型的處境。
• Ash 也承認，超長時間執行的 agent 要怎麼做 observability，目前還沒有解決。