Agent 觀測、評估到實驗的迴圈

概要

• 觀測是第一步Dat 說 Arize 所有東西都走 OpenTelemetry，加一行程式碼就能產生 traces 與 spans，當作 agent 做過什麼的稽核紀錄。除了 traces，還有記錄來回對話與狀態的 sessions。
• 看分佈，不只看單次Dat 展示的視圖把 agent 所有可能的路徑、分支與迴圈攤開，可以問有多少比例的流量走某條分支，或哪個元件造成明顯延遲。例子是兩個元件順序錯了，B 其實依賴 A。
• 訊號有多種來源Dat 說訊號可分成五種，講到的有 LLM as a judge、人類回饋（含用 golden data set 校準 judge）、成本考量下的確定性（邏輯型）評估，以及對應業務目標的指標。
• 評估有範圍之分從單一 span 的輸入輸出，到跨多個 span、整條 trajectory、整段 session 的評估。Dat 也提醒，能評不代表都該評，要找最少而夠用的一組。
• 實驗改的是編排與設定資料集可以從 traces 撈出有問題的部分，或直接上傳輸入輸出配對，再拿來試不同的 orchestration 與 configuration 改動。
• 目標是自動化整個飛輪Arize 把 primitives 開放給 Claude Code 與 Codex 這類 coding agent，也內建名為 Alex 的 AI 系統，目標是讓人不必再手動走完這個流程。

原話

• “It feels like magic, but it's not magic, right? It's all just engineering.”

  看起來像魔法，但不是魔法，全都只是工程

  ▶ 02:01

• “now we know that code doesn't audit agents or harnesses. It's actually the telemetry that does that.”

  現在我們知道，稽核 agent 或 harness 的不是程式碼，而是 telemetry

  ▶ 03:27

• “just because you can't eval something doesn't mean you always should.”

  能評估不代表每樣都該評估

  ▶ 11:38

• “most people don't want to live in dashboards or buttons or manual things.”

  多數人不想活在 dashboard、按鈕或手動操作裡

  ▶ 13:16

• “our ultimate goal as a company is actually to automate you out of this process”

  我們公司的最終目標，是讓你不用再親自做這個流程

  ▶ 14:28

延伸

• Dat 推薦 Anthropic 兩天前發表的 Managed Agents 文章，sessions 這種記錄狀態的層級就是文中談到的一個面向。
• 確定性評估的例子：把一段文字轉成 JSON payload 之後，檢查它是不是合法的 JSON、符不符合 schema、該有的欄位是否非空，Dat 把它放在考量成本時的選項。
• Arize 的方向是連評估都不用自己挑：AI 看著 traces 判斷需要哪些評估、即時建立，demo 裡 Alex 已經開始指出高延遲與錯誤。