讓 Agent 自己驗證成果

概要

• 兩種人，兩種體驗Johan 指出網路上有人說自己不再碰程式碼，也有人說 AI 在正式環境裡產出垃圾，但不認同「只是 greenfield 與 brownfield 的差別」這類解釋，因為自己和別人都在舊系統上用 AI 做出了成果。
• 差別在回饋迴路Johan 說 greenfield 時 agent 的直覺是對的，brownfield 裡有 agent 預期不到的東西，例如不再使用的死碼、沒看過的程式區塊。
• 「做好了」不等於驗證過agent 說新流程已經做好、一切正常，意思是就它所知應該能動。Johan 說懷疑 AI 的人看到它其實沒動就放棄，另一類人則會請它再試一次、去看 log。
• 自製 CLI 讓 agent 能測應用Poolside 的應用是 VS Code 裡的擴充功能，Johan 做的 CLI 能讓 AI 像操作網頁一樣操作它，還能取各服務的 log、重啟服務、操作選單、對 agent 發訊息。
• 先重現 bug 才信得過Johan 要求 agent 先重現 bug 再動手修，否則自己還得驗證一遍，也沒辦法讓 agent 整夜跑。
• 工程師的重心轉移Johan 說要少花心力在產品本身，多花在讓 AI 能在產品上工作，做法可以是工具、改善程式碼或知識庫，形式可以是 CLI、skill 或 MCP。

原話

• “On Brownfield, however, there be dragons.”

  不過在 brownfield 裡，到處是陷阱

  ▶ 02:14

• “What the agent means really is, well, to the best of my capabilities”

  agent 的意思其實是，就我的能力所及

  ▶ 02:48

• “We are going to have to focus less on the product and more on trying to make the AI work on the product.”

  我們得少關注產品，多想怎麼讓 AI 能在產品上工作

  ▶ 05:52

• “It's really your new role to think about all of that.”

  想清楚這一切，才是你的新角色

  ▶ 09:25

延伸

• Johan 說這個工具不會公開在 GitHub 上讓人直接拿去用，重點是各團隊依自己的產品與問題做出對應的版本。
• Johan 說 2025 年的 product engineer 什麼都圍著產品做，但 AI 變強之後，更該確保速度不會變成陷阱、錯誤不會一路疊加，也要讓自己容易驗證 AI 交出來的東西。