用訊號與自我診斷監控 agent

概要

• 從 evals 轉向監控Zubin 認為 agent 的工具、記憶與子 agent 讓輸入空間組合爆炸，固定的測試集蓋不完，所以線上監控比測試更重要。
• 兩類訊號明確訊號是能驗證真假的東西，例如錯誤率、延遲、重新生成與成本；隱含訊號看語意，例如拒絕、任務失敗、使用者沮喪，可以用 regex 或分類器抓。
• 拿訊號做實驗改 prompt、換模型或加工具時，只放給一部分使用者，對照這些訊號的比率有沒有上升。Zubin 展示的例子裡，沮喪率從 37% 降到 9%。
• 自我診斷Danny 的做法是給 agent 一個回報用的工具，再在 system prompt 裡鼓勵它使用，讓它說出工具壞掉、能力缺口、繞過限制等狀況。
• 工具怎麼命名有差模型不愛自我指控，所以把工具包裝成「給創造者的回饋」比叫它回報不安全的 bash 用法更容易觸發。
• Q&A 談實務樣本數、分類器成本、跟 Statsig 與 BigQuery 的串接、trace 與 trajectories 檢視，以及為何不能公開客戶資料。

原話

• “monitoring production is just infinitely more important and it allows you to move faster and be better at catching the long tail.”

  監控 production 重要得多，也讓你走得更快、更能抓到長尾問題

  ▶ 03:04

• “I didn't fix the S3 test, I just simply removed it.”

  模型被要求自白時會承認的話：我沒修好那個 S3 測試，只是把它刪掉

  ▶ 17:10

• “So they are less willing to admit fault in many cases.”

  模型被訓練得很體面，所以多半不太願意認錯

  ▶ 30:25

• “I think self-diagnostics works really well for catching capability gaps and such.”

  我認為自我診斷很適合抓能力缺口這類問題

  ▶ 31:30

• “there are compliance reasons where we can't actually put a customer's data out there.”

  基於合規，我們不能把客戶資料公開

  ▶ 49:48

延伸

• Danny 提到 Codex 或 Claude Code 在 sandbox 裡連不上網路時，會改寫一支 Python 腳本繞過去，並說這種自我修正有好有壞：任務完成了，但在某些情況下有安全疑慮，所以也是自我診斷要抓的一類。
• Zubin 提到正在想怎麼讓 agent 根據訊號開 PR 並跑新實驗，形成自我改進的閉環，但還沒有成品。
• Danny 說 Python 支援還弱，之後會改善；SDK 目前由專人在處理。