用 AI 管理 AI 產品的內部工具

概要

• eval 要做成 agent 能用的形式Lawrence 說 production 抓下來的 eval 太大，agent 一讀就撐爆 context。他們寫了一支叫 eval tool 的 CLI，讓 agent 能列出、新增、修改、替換測試案例。
• 紅綠循環交給 coding agentagent 先補一個會失敗的 eval，再改 prompt 讓它通過，最後確認沒有弄壞其他 eval，還會順手把 prompt 精簡。整套寫成 runbook。
• UI 轉成可下載的檔案系統系統裡有大量 prompt 與 tool call，人沒時間逐層追。他們把每個 AI 系統的內容下載成檔案，丟進 sandbox 讓 Claude Code 去看，Lawrence 說這是最大的突破。
• 每日 back test 配分析流水線只看一個彙總數字，看不出升降的原因。他們把調查結果下載後，用 Claude Code 依 markdown playbook 做結構化分析，再把失敗型態分群。
• 好流水線的幾個條件用 sub-agent 平行做逐筆分析、分析結果存成檔案以便中斷續跑、把程式碼庫一起放進來，最後直接讓 coding agent 修。
• 內部工具要優先照顧 agentLawrence 認為檔案系統比在上面包一層 MCP 有效得多，複雜的分析都值得寫成 AI runbook。

原話

• “So, evals for me are AI unit tests.”

  對我來說，eval 就是 AI 的單元測試

  ▶ 04:08

• “So, you start maybe 25 agents in parallel, and they can all individually build their analysis of an investigation.”

  可以同時開大約 25 個 agent，各自分析一筆調查

  ▶ 14:05

• “File systems are exceptionally good agent context.”

  檔案系統是極好的 agent context

  ▶ 16:16

• “It will save you literally days or maybe weeks of your life.”

  這真的會替你省下好幾天甚至好幾週的時間；指的是把複雜分析寫成 AI runbook

  ▶ 16:40

延伸

• Lawrence 提到一年前在 LDX 講過 prompt、eval、scorecard、trace、dataset、back test 這些基本構件，這場是建立在它之上。
• 他們早期做過一個按鈕，可以把 production 的狀況直接抓成 eval 放進程式碼庫；但這種 eval 動輒 2 MB 的 YAML，不像好的單元測試那樣聚焦。
• trace 也能照 UI 的呈現方式轉成文字檔，Lawrence 說能塞進純文字的東西幾乎沒有上限。