所有節目›AI Engineer Europe 2026World's Fair 2026World's Fair 線上軌AI in HealthcareSoftware Factories
Your coding agent doesn't always follow your rules在 YouTube 看這一場

AI Engineer Europe 2026 · 演講 · 2026-07-08 · 10 分

別只下指令,要替 agent 加驗證

Your coding agent doesn't always follow your rules · Talha Sheikh,Checkout.com

Talha 發現自己一直在替 coding agent 把關,於是做了一層用 hook 觸發的確定性檢查,也主張價值已從寫程式轉到設計驗證。

關卡與 harness看原片 ↗

概要

  • 人變成了把關的那個人Talha 說不管給 Claude 完整 spec 還是幾乎沒有指示,每次都還有東西要自己開口修,agent 說做完了,還是得再檢查一遍。
  • 用 hook 接一層確定性檢查Talha 做了 Vector,靠 Claude hook 在 session 結束時自動呼叫;測試寫在設定檔裡,沒過就一直告訴 Claude 重來,直到全過。
  • 指示不等於驗證Talha 認為 spec、MCP server、sub-agent、完整 context 都該做,但給指示和給驗證是兩件事,指示再好還是得驗。
  • 護欄多,模型可以小一點Talha 的推論是護欄夠多,Haiku 或開源模型也可能走到想要的結果;Opus 最貴,多花時間在 harness 上可以把成本壓下來。
  • 要做成通用的模式每家公司都在做自己的強制檢查,各自要擋的東西不同,所以得是語言無關、人人能帶自己規則的 pattern,涵蓋對話、commit 前、多 agent、非同步到 LLM 當評審。
  • 工作重心從程式碼移到驗證Talha 引用幾家公司的做法佐證,結論是「work on the harness and not on the code」。

原話

  • “So the agent says it's done, but you have to check it anyway”

    agent 說做完了,你還是得自己查一遍

    ▶ 01:23
  • “it's not about whether Claude can actually do the task. It's about trust.”

    重點不在 Claude 做不做得到,而在能不能信它

    ▶ 02:40
  • “giving cloud instructions is not the same thing as giving it verification.”

    給 Claude 指示,跟給它驗證不是同一回事

    ▶ 04:17
  • “So it's not about can you code, but can you verify?”

    重點不是你會不會寫,而是你能不能驗

    ▶ 08:29
  • “So TLDR is work on the harness and not on the code.”

    簡單說,把力氣花在 harness,不要花在程式碼

    ▶ 08:29

延伸

  • Talha 把這層檢查的核心形容成一份契約:開發者自己定義「給定這個任務,要達成什麼」,中間怎麼驗由各自決定;只要能確定性地執行,任何語言、任何程式碼都能掛上。

章節

點時碼直接跳到原片的那一段。

  1. 做不完的修修補補請 Claude Code 做功能,sub-agent 跑完卻跑不起來,要一直叫它修,永遠還缺一小塊。
  2. 我就是那層把關不管給多少指示,每次都得自己告訴它該做什麼、怎麼檢查;agent 說完成,沒有別人能替 Talha 驗。
  3. 想要確定性的檢查Talha 想要 agent 宣告完成時,有一層確定性的機制去查事情是不是真的做完,而且照自己要的方式做。
  4. Vector 的做法靠 Claude hook 在 session 結束時呼叫 Vector;設定檔定義要檢查什麼,沒過就叫 Claude 重試,示範中第一次失敗、重試後全過。
  5. 問題是信任重點不是 Claude 做不做得到,而是能不能相信它把事情做完;Talha 說的 Claude 泛指所有 LLM agent。
  6. 被說不需要了Talha 到處介紹這個功能,後來一位 Anthropic 工程師說之後會有更聰明的 agent 或模型,不再需要這種東西。
  7. 新模型就夠了嗎Talha 提到 Project Glasswing 與 Mythos,但新模型能力提高,不等於自己要的那件事就解決了。
  8. 指示不是驗證最好的 spec、MCP server、sub-agent、context 都該有,但給指示不等於給驗證,還是得驗。
  9. 護欄與成本護欄夠多時,小模型或開源模型理論上也能交出要的結果;Opus 最貴,多投資 harness 可大幅降成本,也可改走 async。
  10. 每家都在做自己的Anthropic、Talha 的公司、Facebook 都在做各自的強制檢查,只合自己用的東西沒辦法分享,所以應該變成通用 pattern。
  11. 語言無關、各層都能跑檢查從對話、commit 前、多 agent、非同步 agent,到用 LLM 當評審都該能掛上,核心是一份「給定任務就要達成什麼」的契約。
  12. 其他公司也在這樣做舉 Anthropic 的 advisor 模式、OpenAI 的 harness engineering、一家做完整 PR review 的公司、WorkOS 的「enforce, don't instruct」。
  13. 要慢下來慢的原因不是 agent 寫不快,而是驗證層;Talha 最愛的是 keynote 裡那句 slow the hell down。
  14. 價值移到驗證原先以為價值在寫出來的程式碼,現在在於設計出來的驗證;結論是顧 harness 而不是顧程式碼。
  15. 問答有聽眾問這東西是否公開,Talha 說是公開的,叫 Vector Harness。

名詞

Vector
Talha 自己做的產品,用 Claude hook 在 session 結束時自動執行設定檔裡的檢查,沒過就叫 Claude 重試;公開版叫 Vector Harness
Claude hook
讓 Claude 在 session 結束等時機呼叫外部程式的機制,Vector 靠它觸發
harness
包在 agent 外面的工具、context 與檢查;Talha 的結論是該把力氣放在這裡
deterministic verification
用可重現的方式檢查 agent 的產出,相對於讓另一個模型去判斷
LLM as a judge
Talha 列在各層檢查之中、會非確定性地呼叫 LLM 的那一種
Project Glasswing / Mythos
Talha 說是 Anthropic 發表的專案,據說強到能解決一切,但不認為這代表不需要驗證
advisor 模式
Talha 轉述 Anthropic 最近推出的做法:一個 agent 負責寫程式,另一個 advisor 形成回饋迴路來驗證
WorkOS
Talha 引用當天 WorkOS 提出的「enforce, don't instruct」

相關影片 同屬「關卡與 harness」