評測該跟著 agent 一起變

概要

• 靜態測試套在會變的東西上Vincent 說傳統做法是手寫一批題目、上線前離線跑完，但 AI 應用本身不是靜態的，卻被當成靜態軟體來測。出事只是時間問題，之後又得從頭查起。
• 軟體本身也在變形Vincent 是 OpenClaw 的核心貢獻者之一，說 harness 會自己改、自己長 skills。軟體出貨的速度已經很快，benchmark 要怎麼跟上，則是這場拋出的問題。
• 從 prompt 到 context 再到 intentVincent 把這幾年分成 prompt engineering、context engineering，以及 2025 年之後的 intent engineering。機器能依意圖自我優化，評估就更難，因為每個人的使用經驗都不一樣。
• evals 沒死，做法要換Vincent 講到的方向有三個：agent 從 traces 自己整理測試集、常駐的線上評估、讓 harness 看得到 telemetry 並自我修正。
• eval 的終點是目標狀態eval 不再是資料集或起點，而是想達到的 end state，其餘交給機器。Vincent 把測試拆成大約 80% 已定義的部分和 20% 一直在變的部分，後者才是會出事的地方。

原話

• “our AI applications are not static, but we're treating them like they're static software.”

  AI 應用不是靜態的，我們卻把它們當成靜態軟體

  ▶ 04:12

• “once we have agents doing the evals not static benchmarks we can have this like as an always on sort of service”

  由 agent 來做 eval 而不是靜態 benchmark，就能把它變成常駐服務

  ▶ 11:20

• “our evals become like what is the end state that we want to get to”

  eval 變成我們想達到的終點狀態

  ▶ 13:04

• “that 20% is always going to keep changing and it's that 20% that's going to mess up your business”

  那 20% 一直在變，會搞砸你生意的就是那 20%

  ▶ 13:24

• “not as a point in time but as like a self-optimizing growing solution”

  不是某個時間點的快照，而是會自我優化、持續成長的解決方案

  ▶ 14:00

延伸

• Vincent 提到有一篇 adaptive testing 的 LLM eval 論文，但說不記得發表時間，也沒有講篇名。
• Vincent 舉金融業的例子說明傳統做法：手寫一批問題，確認 AI 不會順手推銷金融服務，離線調到完美才上線。