評估平台為何難自己做

概要

• 從試算表開始就對了Phil 認為最重要的是先動手，有一份試算表、一個 for loop、一個能執行 agent 的方法就夠起步。但這比較像記錄，不算實驗，人工評分也很難放大。
• 自己 vibe code 介面是第二步做出比較順手的 UI，再搬到正式資料庫，能讓更多人加入。可是這時仍偏向回報與文件，還沒有鼓勵反覆迭代。
• Playground 讓非工程師也能實驗使用者可以在介面上改 agent 的系統指令，比較兩種設定，再用 eval 把分數帶出來。
• Observability 與 evals 是同一個問題Phil 說三年前 Braintrust 剛成立時只做 evals，後來發現有客戶把全部 production 流量灌進去跑 eval，才補上 tracing。把正式環境的資料拉回離線 eval，形成一個循環。
• 難處在資料層agent trace 又大、又非結構化、又密集，Phil 說跟一般應用程式的 trace 很不一樣，單靠一個資料庫撐不住，要同時兼顧即時查看與聚合分析。
• 下一步是給 agent 用的平台Phil 提到的方向有用 topic modeling 找出沒想到的使用方式、讓 coding agent 直接下 SQL，以及用 gateway 自動加上 tracing。

原話

• “EVALs are a team sport, kind of what I was talking about before.”

  eval 是團隊運動，要把非技術的人也拉進來

  ▶ 10:13

• “Observability and evals, to us, it's actually the same problem from a systems perspective.”

  對我們而言，observability 與 evals 從系統角度看是同一個問題

  ▶ 14:21

• “almost like you're rerunning production in a safe environment.”

  跑 eval 就像在安全的環境裡重跑一次 production

  ▶ 16:16

• “if you build it you have to manage it”

  自己做的平台就得自己維護

  ▶ 16:50

• “It's actually a systems problem, it's not just a UI, UX problem.”

  衡量 agent 品質其實是系統問題，不只是介面問題

  ▶ 19:37

延伸

• Phil 提到 Braintrust 有一篇剛發布的部落格，講他們現在怎麼處理資料層，但這場沒有展開。
• 權限控管、資料遮罩這類非功能需求 Phil 今天沒談，只說那是要大規模運作時才會碰到的。