長時程 agent 的四個設計主題

033Lance Martin（Anthropic）25:182026-07-22 上架

Claude for Long-Horizon Tasks — Lance Martin, Anthropic

Lance Martin 從任務時長拉長談起，講 Anthropic 做 async agent 的四個主題：腦手分離、獨立驗證、線上寫記憶加離線整理，以及組織層級的共用 harness。

這場講了什麼

• 任務時長決定產品形態：Lance Martin 用光源與窗戶比喻模型與產品。2024 年的模型只能自主做 10 到 20 分鐘，適合 autocomplete 與 chat；能做一小時左右時，出現了 Claude Code 這類同步的 coding agent；async 要好用，時長還得再拉長。
• 腦與手分開：harness 是無狀態的程序，session 是只能附加的事件日誌，沙盒容器只負責執行。harness 或沙盒掛掉都不會丟 session，憑證也放在另一個 vault，不進沙盒。
• 驗證要放在獨立的 context：同一個 context 一邊做事一邊自評，容易出現怪結果與虛構。做法是讓 build agent 與 verifier agent 組成迴圈，直到 verifier 確認達標才離開。
• 記憶要線上寫、離線整理：模型在過程中寫記憶（in-band），有時會寫錯，或寫下只對當下任務有利的東西；另外跑一道離線的 dreaming，回頭看記憶庫與過往 session 去修正。Pokemon 的例子裡，dreaming 修掉了一條會讓 Claude 掉進陷阱的錯誤記憶。
• 組織層級的 harness：Claude Tag 的重點不在 Slack，而在它是全組織共用、有自己身分與憑證、能讀組織層級 context 的多人 harness。Lance Martin 預期 async agent 會更主動，也會由很多人同時操控。
• 記憶結構讓模型自己決定：Q&A 裡談到，記憶的基底用檔案系統或資料庫都行，關鍵是給簡單的原語，不要預先規定記憶 schema。

影片從哪一段開始看15 段

1. 00:12光源與窗戶把 Claude 比作光源、產品比作窗戶，模型能力變了，看見光所需的窗戶也跟著變。
2. 01:15任務時長與產品Opus 3 那一代只能自主做 10 到 20 分鐘，只適合 autocomplete 與 chat；Claude Code 這類同步 agent 能做一小時左右；async 要更長的時長才好用。
3. 02:12API 層級演進從 Message API，到給你 harness 的 Agent SDK，再到四月之後把 harness 與部署基礎設施一起打包的 Managed Agents。
4. 03:19主題一：腦與手分開原本 harness 與沙盒同在一個容器，容器掛掉整個 session 就沒了，憑證放一起也有安全疑慮；改成無狀態 harness 加事件日誌加多個容器。
5. 05:25session 當外部 context受 recursive language models 啟發，session 成為模型可回頭查詢的外部物件；與壓縮不同，只附加、不破壞。
6. 06:14主題二：用 verifier同一個 context 做事又打分數會出怪結果，把驗證拆到獨立 context，build 與 verifier 組成迴圈；Claude Code 叫 goal，Managed Agents 叫 outcomes。
7. 08:23Parameter golf 實驗用 outcomes 迴圈讓 Opus 4.7 與 Mythos 級模型跑 OpenAI 的 benchmark，條件是剛好跑完 20 輪迭代並符合實驗規則；訊號放在環境裡，不靠人盯。
8. 10:03主題三：兩套記憶系統以海馬迴的快速短期記憶與睡眠時的離線整理作類比，說明 Claude 的記憶也可以分成線上寫入與離線整理兩層。
9. 11:09線上寫記憶越來越強記憶工具就是一個可寫入的記憶目錄；玩 Pokemon 時 Sonnet 3.5 寫的是戰術筆記，4.6 的筆記更有策略；Continued Learning Bench 的成績也隨模型進步。
10. 13:14Dreaming 修正記憶線上寫的記憶可能錯、或只對當下任務有利；Pokemon 裡一條錯誤記憶讓 Claude 判錯位置、掉進陷阱，五次重複五次都掉，加上 dreaming 後被修正。
11. 16:05主題四：組織層級 harnessClaude Tag 是全組織共用、有獨立身分與憑證、可讀組織 context 的多人 harness，新人不必花幾週設定連接器。
12. 18:15更主動、多人同時操控預期跨組織、跨使用者的 harness，async agent 會從被動回應變成主動提醒，也會由多人同時引導。
13. 20:00Q&A：長時程模型的差距有聽眾問前沿模型在 METR 上的差距；Lance Martin 說前沿模型已在 12 小時以上的區間，其他模型為何沒有自己不確定，但長時程不只靠模型，還要記憶、安全、架構與基礎設施一起到位。
14. 22:05Q&A：記憶基底檔案系統與資料庫都可以，要緊的是簡單可操作的原語；預先規定記憶 schema 效果反而變差。
15. 24:24Q&A：怎麼驗證 dreaming有聽眾問怎麼確定修正是對的；Lance Martin 說內部跑過不少 eval，顯示 dreaming 確實能提升表現，但仍要在自己的情境下確認離線運算值得。

值得記的話4 句

• The session is an append-only event log.session 是一份只能附加的事件日誌04:21

• instead of encoding steering into like me as the human, you're encoding the signal into the environment.不是靠我這個人來引導，而是把訊號放進環境裡09:33

• org-level harnesses are a real leveler of the playing field.組織層級的 harness 真的能讓起跑線拉平17:40

• Let the model structure and maintain its own memory.讓模型自己建構並維護自己的記憶23:27

名詞與人物10 個

Managed Agents

Anthropic 四月起推出的 API，把 harness 與託管的部署基礎設施一起打包

Agent SDK

以程式方式呼叫 Claude Code 的介面，等於 Anthropic 提供一套 harness

brain / hands

Managed Agents 的分法：brain 是 harness，hands 是執行用的沙盒容器

session

只能附加的事件日誌，harness 與沙盒掛掉也不會遺失

recursive language models

把 context 當成模型可以反覆查詢的外部物件的研究方向

outcomes / goal

Managed Agents 與 Claude Code 裡設定可量測終點的機制，由獨立 verifier 判定是否達成

dreaming

離線整理記憶的流程，回頭看記憶庫與過往 session 修正錯誤

Continued Learning Bench

Lance Martin 跑的開源 benchmark，其中一項任務是對 SQL 資料庫連續問答並在每步之間寫記憶

Claude Tag

Anthropic 的組織層級多人 harness，推出時很多人把它當成 Slack bot

Parameter golf

OpenAI 出的 benchmark，測模型做 ML 研究的能力：用 8 張 H100 在不到 10 分鐘內訓練一個小模型

提到但沒有展開

• Lance Martin 在 Continued Learning Bench 上觀察到，強弱模型寫記憶的主要差別在提煉：強的模型不只記下單一事實，而是存下對之後 session 也用得上的抽象。
• Claude 越來越能同時管理很多 hands：一個 harness 可以接上多個容器來執行工具。

AnthropicAgent開發工具

在 YouTube 看原片 ↗