用模擬產生評估資料，agent 快 20 倍上線

058Aman Gupta (Nubank) + Shreya Rajpal (Snowglobe)16:292026-07-29 上架

SimulationMaxxing: How we ship agents 20× faster — Aman Gupta (Nubank) + Shreya Rajpal (Snowglobe)

Nubank 的客服 agent 不等 production 資料，改用模擬使用者產生評估資料，把一次改版的驗證從幾週縮到不到一天。Aman 講 Nubank 的成果，Shreya 講評估資料的瓶頸與模擬怎麼運作。

這場講了什麼

• 評估的瓶頸在資料：Shreya 認為 metrics 已經有一套做法，卡住的是拿什麼資料來算。多輪 agent 的一筆資料是一整段帶工具呼叫的軌跡，光產生與標註一筆就很貴。
• 兩種資料來源各有痛點：手寫資料要自己規劃狀態與軌跡，狀態還得在每次工具呼叫之間保持一致；production traces 幾乎免費，但每次測都是拿真實使用者在測，很難平行跑大量實驗。
• 模擬把週期壓短：Aman 說改 harness 最快幾小時，用手工資料跑離線評估要幾天，production 的 A-B test 要等稀疏又有雜訊的回饋。用模擬可以從幾週縮到不到一天，有時只要幾小時。
• 模擬的輸入是 agent 加人物設定：把 Snowglobe SDK 指向 agent，再指定人物設定與使用情境，就能產出數千段多輪對話，工具都 mock 好，假地址、假信用卡這類底層資料也會一併生成並保持一致。
• 模擬要跟真實對得上：Aman 說領域專家的標註有 80% 確認模擬資料可用，全新的 agent 也一樣。模擬還抓到差點上線的 regression；一個 agent 的 TNPS 變成 2 倍，Aman 歸功於模擬、穩固的 evals 與有原則的做法。
• 評估加模擬形成改進循環：Aman 描述 Nubank 的做法，用自動 prompt 優化做出穩固的 evals，模擬資料與真實資料一起跑過 evals，再拿結果最佳化 agent harness。Nubank 也用這套流程測開源模型，正在跟 frontier 模型做 A-B test。

影片從哪一段開始看12 段

1. 00:12開場與 Nubank 簡介Shreya 是 Snowglobe 的 CEO，Aman 是 Nubank 的 principal machine learning engineer。Aman 說 Nubank 2026 年第一季的季營收突破 50 億美元，客服由人類專家與 AI agent 一起處理。
2. 01:34先看成果Aman 展示五個 production agent 的 TNPS 平均值，一開始不太理想，幾個月後很多已經逼近人類水準，最新的數字是不少已經超過。
3. 03:05評估只有兩件事Shreya 說評估就是 metrics 與資料。metrics 可以用 judge 式分類器對齊人工判斷，難的是資料：多輪 agent 的單筆資料是一整條軌跡，每次工具呼叫都要有狀態。
4. 04:50手寫與 production traces手寫資料要自己規劃狀態更新與軌跡；production traces 幾乎免費，代價是在真實使用者身上做實驗，要平行跑很多實驗就很難。
5. 05:53發布週期的時間帳Aman 算給聽眾看：改 harness 幾小時、離線評估幾天、production A-B test 等顯著結果可能等很久，模擬能把這段從幾週縮到不到一天。
6. 07:29模擬的運作方式Shreya 說明輸入是被包起來的 agent，加上人物設定與使用情境；輸出是數千段多輪對話，再跑 judge 拿到每一輪的評估。
7. 08:54一個模擬人物的例子虛構使用者 Maria Souza 想申請信用卡，系統替她生成一致的假地址、假信用卡與說話語氣；她的訊息都很簡短，因為人物就是這樣設定的。
8. 10:15自我改進循環Aman 描述出貨、觀察、用 GEPA 這類演算法做自動 prompt 優化建立 evals、跑模擬、最佳化 harness 再出貨的循環，同一個 agent 因此能做很多次 A-B test。
9. 11:21模擬與真實的落差用 evals 與人工審查檢查模擬品質，80% 的領域專家標註確認模擬資料可用，成熟的與全新的 agent 都適用。
10. 11:55抓 regression 與成果模擬抓到一個差點上線的 regression，也在另一個 agent 抓到會拉低自助服務率的問題。一個 agent 的 TNPS 變成 2 倍，自助服務率全面改善，其中一個案例提高 4%。
11. 13:33測開源模型把各種開源模型丟進 agent harness、evals 與模擬環境，省下好幾週的功夫，現在正用 A-B test 比較它們跟 frontier 模型。
12. 14:38三個結論用模擬產生評估資料；要補上模擬與真實之間的落差，才信得過模擬的結果；企業裡的自我改進 agent，說到底靠的是資料和 metrics。

值得記的話4 句

• evals are really only about two things, right? There's metrics and there's data.Shreya：評估其實只有兩件事，metrics 和資料03:05

• But the cost is that you're testing on real live users every time you're testing it.Shreya 談 production traces：代價是每次測試都在真實的使用者身上測05:21

• from a few weeks you can go to less than a dayAman：從幾週變成不到一天06:24

• not just for mature agents, but also for greenfield agents.Aman 談專家標註確認模擬資料可用：不只是成熟的 agent，全新的 agent 也適用11:36

名詞與人物8 個

Nubank

Aman 任職的公司，這場的實測環境是它的客服 AI agent

Snowglobe

Shreya 擔任 CEO 的公司，提供替 agent 跑模擬的 SDK 與基礎設施

TNPS

衡量客戶滿意度的指標，Aman 的成果圖用的是它的平均值

SSR

self-service rate，自助服務率；客服圈常說 TNPS 要拿它來換，Aman 說 Nubank 兩者都有進步

simulation

用模擬使用者與 mock 好的工具，對真實 agent 跑出大量多輪對話當評估資料

persona

驅動模擬的人物設定，包含身分、使用情境、語氣與一致的底層資料

agent harness

LLM 周邊的 prompt、工具等一切設定，Aman 說改它最快也要幾小時

production traces

線上真實使用者與 agent 互動留下的紀錄，免費，但實驗得在真人身上做

提到但沒有展開

• Shreya 提到，2018 年前後的 machine learning 時代就有「ML 工作 85% 是資料」的說法；到了 agent，資料要的精細程度又貴上許多。
• Aman 舉例：如果一個 agent 每季要跑 10 次 A-B test，現在可以先用模擬跑一批想法，只上線一次 A-B test，等於省掉前五、六次。

Agent評估開發工具

在 YouTube 看原片 ↗