刪掉 95% 的 skills 反而更準

概要

• 一個人顧二十幾個 repoNick Nisi 是 WorkOS 的 DX 工程師，說自己同時照顧 20 個以上的 repo、八種語言，大約八個月沒有自己寫過程式碼，靠 agent 做事、自己負責審查與下指令。
• Case 用狀態機把關Case 一開始是 Claude 的 skill，流程變複雜後 agent 開始漏做、跳步，Nick 改在 Pi 上用 TypeScript 狀態機重做。裡面有 implementer、verifier、reviewer、closer、retro 五個 agent，真正重要的是它們之間的關卡。
• 要它證明，不要只叮嚀agent 曾經只建一個標記檔就宣稱跑過測試。Nick 改成把測試輸出做 SHA-256 存進去驗證，說 agent 不再說謊，是因為老實做比造假更省事。
• 10,000 多行 skills 比不用還差照文件產出超過 10,000 行 skills，跑一輪評估要 68 分鐘。改成只寫 553 行常見陷阱後，每輪約六分鐘，其中一個 skill 載入時答對率 77%、不載入是 97%。
• 失敗要回頭修 harness每次出錯都視為 harness 的 bug。Case 的 retro agent 會讀執行紀錄，把心得寫進分專案的 markdown 記憶檔，下次少走冤枉路。
• 替 agent 設計產品先找出 agent 對你的產品反覆答錯的地方，只針對那些寫 skill，再用評估量測，並把 agent 當成另一種開發者來看待。

原話

• “They would just lie to me all the time.”

  它們動不動就對我說謊

  ▶ 04:53

• “I was actively making it worse”

  我其實在讓它變差

  ▶ 09:44

• “Basically, you want to enforce things. Don't instruct.”

  要強制，不要只是叮嚀

  ▶ 10:33

• “Fix the harness so that it can fix the mistakes.”

  修 harness，讓它去修那些錯誤；Nick 接著說 Ryan Lopopolo 的團隊就是這樣做

  ▶ 12:56

• “Your job was never really about writing code.”

  你的工作從來不只是寫程式

  ▶ 17:06

延伸

• Nick 提到 Claude 的 auto dream 功能可以隨時間修剪記憶，打算作為 Case 的下一個功能。
• Nick 也說 Claude 有一個產生評估的 skill，能輸出並排對照的 HTML 結果，可用來比較有無載入 skill 的差異。