Agent 觀測與傳統觀測的三個差異

概要

• 範圍不同Phil 說傳統觀測管的是 uptime 與技術表現，像延遲、400 與 500 等級的錯誤。agent 觀測沿用 trace 與 span 這些基本單位，但還要問回答有沒有根據蒐集到的脈絡、工具用得對不對、有沒有符合品牌標準。
• 非決定性傳統應用有已知的控制流程，agent 則不是。團隊會好奇 agent 為什麼走這條路徑而不是另一條，所以要量的東西不能只限於事先定好的指標。
• trace 又大又亂Phil 形容 agent trace 是半結構化、夾著大量非結構化文字，量也很大，並說有客戶的單筆 trace 超過 1 GB。又要即時看得到、又要能用多種方式查詢，這是全新的系統問題。
• Braintrust 自建資料庫為 agent trace 從頭設計資料庫，用 write-ahead log 讓資料馬上可見，並用 fork 來的 Tantivy 做全文索引，再用類 SQL 的語言統一查詢。
• 使用者不只工程師Phil 說做得好的團隊會讓非技術的人一起看 trace，例如臨床人員、財務顧問、律師，因為他們最貼近使用者或問題領域，而且 prompt 可以用自然語言寫。
• 下一步是自動歸納他們用輕量 LLM 對 trace 做 embedding 與分群，歸納使用者意圖、情緒與遇到的問題，目標是縮短從發現問題到修正的迴圈。

原話

• “Agents are non-deterministic, whereas applications are deterministic.”

  agent 是非決定性的，一般應用則是決定性的

  ▶ 04:52

• “agent traces are really nasty”

  agent 的 trace 真的很難搞

  ▶ 07:08

• “That is a workflow that you simply don't see in traditional observability where you're more worried about uptime.”

  這種工作方式，在重視 uptime 的傳統觀測裡根本看不到

  ▶ 12:57

• “Human annotation is a really key part of this process.”

  人工標註是這個流程裡很關鍵的一環

  ▶ 17:00

• “The only difference is that with evals, we know the inputs ahead of time, and we're doing it in batch.”

  唯一的差別是做 evals 時，我們事先就知道輸入，而且是批次跑

  ▶ 18:27

延伸

• 全文索引的例子：想找出所有提到 Amazon 這個字的 trace，沒有全文索引就很難做到；Phil 說傳統觀測幾乎不必處理文字問題。
• Phil 說觀測與 evals 用同一套系統，trace 進來後可以加進離線資料集拿去做實驗。