補上 agent 可觀測性的缺口

概要

• 缺口有三處Nitya 結尾歸納，agent 會隨模型、提示與環境偏離原本需求；評估與優化的循環要靠 coding agent 加速；評估要連回 trace，安全也要做主動對抗的測試。
• 評估要分段做Amy 以天氣 agent 為例，意圖判斷、工具呼叫、整體任務完成各有各的評估，出問題時才知道哪一段要改。
• 評估結果要連回 traceNitya 認為觀測的價值在縮短偵測到診斷的時間，換模型後哪個工具沒被呼叫，要能從評估回頭翻 trace 看。
• 紅隊補上一般評估測不到的品質評估假設使用者正常，紅隊則讓另一個 AI 主動攻擊，連 agent 被誘導做不該做的動作也要測。
• coding agent 可以跑優化循環Nitya 示範 observe skill 產資料集、跑評估、改提示、重跑並管版本，但也強調要有人在迴圈裡決定何時停。
• 追蹤不限定 agent 怎麼建只要有端點、能送出 OTel trace，就能被收集；評估也是同樣的道理。

原話

• “The models are the brains, the agent is kind of like the experience, and the tools are all the things that you put in to make sure that the model is enhanced.”

  模型是大腦，agent 有點像是經驗，工具則是你放進去、用來強化模型的一切

  ▶ 15:25

• “You need to shorten the time between detecting something went wrong and diagnosing it.”

  你得縮短從發現出錯到診斷出原因的時間

  ▶ 34:44

• “from the tracing perspective, it really doesn't care what kind of agent you have.”

  從追蹤的角度來看，它真的不在意你的 agent 是哪一種

  ▶ 50:39

• “With red teaming, what you do is you get a second AI to attack your first AI.”

  做紅隊，就是讓第二個 AI 去攻擊你的第一個 AI

  ▶ 58:45

• “it's what we don't know that hurts us.”

  傷到我們的，是我們不知道的東西

  ▶ 1:10:56

延伸

• Nitya 說 repo 約是四小時的 workshop，裡頭還有這場沒時間跑完的 notebook 與 coding agent 那條路徑。
• Amy 說安全那一塊這場沒空多講，只提到紅隊不是一個人做的事，Microsoft 也參與相關的開源專案。