做廣告 agent 的 eval 實戰心得

039Preetika Bhateja & Daniel Bump（YouTube Ads）19:292026-07-24 上架

How Evals and Prompts Shape Agent Behavior — Preetika Bhateja & Daniel Bump, YouTube Ads

Preetika Bhateja 與 Daniel Bump 分享 YouTube Ads 團隊替廣告 agent 建 eval 的經驗：早期先憑直覺迭代，再擴大評分規模，要讀推理過程而不只看通過率，上線門檻也要早點定。

這場講了什麼

• 先有地基再談 eval：先把給 agent 的工具打磨好，需要的話再加一個帶修正迴圈的獨立 critique agent，之後才建 eval，用它證明改動有沒有價值、跑 ablation。
• 早期可以憑感覺：一開始就做大而全的 eval 反而綁手綁腳。先直接看輸出、大膽改架構與 prompt，失敗模式反而看得更清楚；太早找 scaled raters，結果會大起大落。
• 評分要有 rubric 也要有理由：給評分員清楚的 rubric 與範例，團隊內部先對齊什麼算通過，並請評分員寫下理由。廣告要同時看準確度、品牌安全等好幾個面向，只看通過與否，看不出 agent 缺在哪。
• LLM 評分員要對照人類：Preetika Bhateja 說團隊會追蹤人類與 LLM 評分的一致率，抽查 LLM 怎麼得出結論；黃金集要涵蓋廣，團隊成員之間的評分也要高度一致。
• 看 trace 才知道 agent 在想什麼：prompt 裡講了好幾次免責聲明不能刪，agent 在 trace 裡明明偵測到聲明，下一步還是把它移除，只看通過率完全看不出來。
• 看模式不看單次：模型不是確定性的，不要因為某一次失敗就去改 prompt，要看某一類情況多常失敗，並投資線上 eval，讓資料貼近真實使用。

影片從哪一段開始看15 段

1. 00:12開場與主題兩位講者在 YouTube Ads 團隊做廣告用的圖像與影片模型，這場分享建 eval 時真正有用的做法。
2. 01:14先打好 agent 地基先把工具調到聚焦好用，再視需要加獨立的 critique agent 與修正迴圈，最後才建 eval 來爬品質。
3. 02:38為什麼需要 evalagent 的可靠度取決於能力、護欄與 eval；生成式 AI 的輸出不確定，要靠 eval 定義什麼叫好。
4. 03:58早期先靠直覺一開始憑直覺看輸出、大改架構，比先做完整 eval 更快；太早找 scaled raters，結果會起伏很大。
5. 06:05從小處開始第一天不需要龐大的黃金集，先挑幾個核心任務；也要測 agent 沒有做壞事，這跟測它有沒有完成任務一樣重要。
6. 07:07評分員要 rubric 與範例團隊擴大後才用 scaled raters；給清楚的 rubric 與範例，團隊內部對什麼算通過先有共識。
7. 08:27請評分員寫理由廣告的準確度、品牌安全等面向很難一刀切成通過或不通過，理由能指出 agent 缺在哪，也能拿回去改善 agent。
8. 09:47LLM 評分員的對照Preetika Bhateja 談 LLM 當評分員：追蹤與人類評分的一致率、抽查結論怎麼來，並呼應 Daniel Bump 先前講的高品質 ground truth。
9. 11:05讀推理過程找問題「免責聲明不能刪」寫進 prompt、也訓練過，agent 偵測到聲明卻照刪；只看通過率發現不了，要看 trace。
10. 12:25泛化與測試集跟所有 ML 系統一樣，agent 的泛化能力有限，要有測邊緣案例的資料集；測試集少用，並用正式環境的資料更新。
11. 12:56爬坡迴圈與上線前檢查人工評估沒達標，就回頭檢視 eval 集、算 precision 與 recall，調 rating guide 或調 agent；上線前要找出退步，分清楚可接受的取捨與嚴重的失敗。
12. 14:39看模式不看單次不要盯著某一次失敗就改 prompt，要看那一類情況多常失敗，並投資線上 eval。
13. 15:53好 eval 系統的條件要對準產品想做好的事、持續更新，訓練評分的團隊，並備好 rater 模板與 rubric。
14. 17:44先定上線門檻早點講清楚 gatekeeping 規則，例如要看到多少 precision 與 recall 才能上線；做模型 eval 時指標又會不一樣。
15. 18:16問答：評判是否全由人做有聽眾問是不是也用 LLM 當評判、怎麼校準；其中一位講者回答不是全靠人，看用途而定，細節不便透露，但一致率與抽樣流程那些做法都通用。

值得記的話4 句

• So to build evals that actually scale, they really need to be strict and measurable.要做出能擴大規模的 eval，就必須嚴格而且可衡量03:43

• early on vibing can actually be kind of good for you.早期憑感覺做，其實可能對你有好處03:58

• if you want to know what it's doing, look at its thinking.想知道它在做什麼，就去看它的思考過程。這是投影片上那個例子的標語11:05

• So you should focus on patterns rather than isolated runs.所以你該看的是模式，而不是單次的執行14:39

名詞與人物8 個

golden set

評估用的黃金資料集，一開始可以很小，之後隨用途擴大、涵蓋更多案例

scaled raters

大規模的人工評分員，要有 rubric 與範例才不會一直回頭問團隊

LLM as judge

用 LLM 當評分員，這場主張要持續對照人類評分的一致率

ablation

逐項拿掉改動看影響，用來證明某個改動是否真的有價值

critique agent

獨立的批評 agent，搭配 remediation loop 補上基礎工具的不足

remediation loop

critique agent 找出問題後讓 agent 自己修正的迴圈

online evals

拿線上真實資料做的評估，讓 eval 貼近實際使用

launch readiness

上線前的檢查：找出退步，分辨可接受的取捨與嚴重的失敗

提到但沒有展開

• 請評分員寫理由，單邊評分與並排比較兩種都適用；並排比兩個模型時，有理由更容易看出為什麼一邊失敗、一邊成功。
• 測免責聲明用的是一張自製的公園廣告，呼籲大家維護公園整潔，上面寫著「America, we can do better」；送進 agent 之後，聲明照樣被拿掉。
• 訓練評分的團隊這件事現在越來越普遍，但六個月前團隊自己還在摸索該怎麼做、要對評分員期待什麼。

Agent評估產業觀察

在 YouTube 看原片 ↗