第 2 站 · 搭 harness該站第 7 / 12 場

Agent 何時才算真正完成

063Dotta(Paperclip)7:132026-07-12

What Does Done Even Mean? Agents and Paperclip's Liveness Model - Dotta, Paperclip

Agent 何時才算真正完成 —— Paperclip的演講縮圖

這場拆解「完成」背後藏著的多重營運主張,說明 Paperclip 如何用 liveness 模型,在讓 agent 持續推進與確保品質之間抓平衡。

重點摘要

  • 綠色勾選蓋不住差異:agent 開 PR、過測試、關 issue 看起來像做完了,但「能合併」「能部署」「能對客戶宣布」其實是完全不同層級的主張,多數系統卻把它們壓成同一個勾選。
  • 人力查核跟不上產出:agent 產出程式與文件的速度已經超過人力所能驗證的量,這反而變成一種新的失效模式:agent 製造出來的工作量比人有時間查核的還多。
  • 完成要有實質內容:真正的「完成」不只是狀態被改成 done,而是要有可驗證的成果、對照的標準、證據,還要清楚知道下一步該交給誰。
  • 全靠人審會卡死,全無審核會變質:任務全部靠人力簽核,正確性有保障但流程會卡住不動,甚至流於形式;完全沒有審核則會失去品質控管,長遠來看比什麼都不做還糟。
  • liveness 與驗證要抓平衡:Paperclip 設下三條底線,確保工作持續推進、只有真正的阻礙才能擋下工作、迴圈必須有界,並用明確的 blocker、reviewer/approver 設定與 watchdog 機制去落實。
  • 把完成當物件而不是布林值:完成應該拆成成果、範圍、標準、證據、簽核者、風險與下一步這幾件事,分開定義,而不是一個開關。

時間軸9 段

00:00開場情境Agent 開 PR、過測試、更新文件、關 issue,看起來像做完了,但這樣算不算真的「完成」,是這場要拆解的問題。
00:15講者與命題Dotta(Paperclip 創辦人)指出,多數 agent 系統把「能合併」「能部署」「能宣布」這些不同層級的主張,通通壓成同一個綠色勾選。
00:34問題所在agent 產出程式與文件的速度已超過人力查核的量,這變成一種新的失效模式:產出的工作比人有時間驗證的還多。
00:50完成的定義「完成」不是狀態被改成 done,而是要有可驗證的成果、對照的標準、證據,並清楚知道下一步的負責人是誰。
02:00人力把關的極限當所有任務都要靠人力簽核,數量一多就會流於形式,變成講者所說的「驗證劇場」,而不是真正的品質把關。
02:40進度與正確性的拉鋸人工審核能確保正確,卻也讓任務卡住不動;Paperclip 想在「持續有進度」與「確保被驗證」之間抓平衡。
04:05三個不變量Paperclip 對代理工作流設下三條底線:工作要持續推進、只有真正的 blocker 能擋下工作、迴圈必須有界,不能無限循環。
04:39Watchdogwatchdog 是一種被賦予目標的 maximizer 代理人,負責督促所有 agent 做到目標達成為止,且不綁定特定 harness,可跨 Pi、OpenClaw、Hermes、Claude Code、Codex 使用。
05:59團隊實作建議講者建議把驗證者跟作者分開(通常換一個不同的模型)、要求 agent 提供具體證據而不是只回答「做完了嗎」,並讓每個 agent 都清楚工作要交給誰。

值得記的話5 句

  • These are fundamentally different operational claims, and most agent systems just flatten it to a single green check mark.這些其實是層次不同的營運主張,多數 agent 系統卻把它們全部壓平成同一個綠色勾選00:15
  • agents can actually create more work than humans have time to verify.agent 能製造出的工作量,很可能超過人力來得及驗證的量00:34
  • you just get is a form of verification theater.最後得到的只是一種形式化的驗證劇場02:00
  • you stop treating done as a boolean and treat it more like an object.不要把完成當成布林值,而要把它當成一個物件來看待05:10
  • it's very important that you define what done really means in as much detail as possible.你必須盡可能詳細地定義完成到底代表什麼,這件事非常重要06:48

名詞與人物6 個

Dotta
Paperclip 的創辦人,這場的講者。
Paperclip
講者打造的 agent 任務管理系統,核心是判斷任務何時真正完成的 liveness 模型。
liveness
這場脈絡下指工作能持續往前推進、不被卡住的狀態,要跟人工驗證的正確性互相平衡。
watchdog
Paperclip 裡的一種 maximizer 代理人,被賦予目標後會持續督促其他 agent 完成,且不綁定特定 harness。
verification theater
講者用來形容人力簽核多到流於形式、無法真正把關的狀態。
chain of custody
講者強調每個 agent 做完工作後要清楚知道下一步交給誰,形成可追蹤的責任鏈。

提到但沒有展開

  • Pi、Hermes 等其他 agent harness:只被點名是 watchdog 相容的例子,沒有進一步說明各自差異。
  • task dependency tree、idempotent checkout 等控制平面細節:提到會讓 liveness 與驗證變複雜,但沒有展開實作方式。
  • 驗證者該換哪個模型:提到驗證者通常會換成不同的模型,但沒有說明怎麼挑選。

Agent開發工具評估

在 YouTube 看原片 ↗