把改進 agent 當成資料探勘

104Vivek Trivedy（LangChain）20:012026-08-12 上架

Improving Agents is a Data Mining Problem — Vivek Trivedy, LangChain

LangChain 應用研究負責人 Vivek Trivedy 主張：改進 agent 的起點是 trace。從讀 trace、調 harness、微調開源模型，到持續學習，整條迴路都靠資料推動。

這場講了什麼

• 改進 agent 是一圈迴路：先把 agent 上線，收集它運作時產生的 trace，再對這些資料做探勘，最後用資料驅動的實驗檢驗新的 prompt、tool 或 orchestration 有沒有真的變好。
• observability 與持續學習綁在一起：Vivek 認為 agent 在環境裡運作就會產生 trace，想做持續學習的公司就得先有 trace。
• trace 太大，要讓 agent 去挖 agent：trace 一多到幾百萬條、每條又有幾百萬 token，光是讀就很貴；太長的互動連 context 都放不下，所以得把 context 當成外部物件來查詢。
• 先用強模型，再往便宜的開源模型走：LangChain 先用 Opus、GPT-5.5 確認任務做得到，再回頭看 trace，用 harness engineering 讓開源模型逼近，必要時再微調。
• 用 Scikit-learn 的眼光看 agent：Vivek 把工作形容成 model、harness、task 三者的配適；要找好的 fit function，也要找好的資料。
• 持續學習要三條線一起走：收集訓練資料、更新 harness、改進記憶；記憶不能只是不斷往後加的檔案，得靠讀完整個生命週期的 trace 再更新。

影片從哪一段開始看14 段

1. 00:12開場與問題Vivek 要談的是怎麼靠資料持續改進 agent：agent 跑完犯了錯，手上有一堆資料，接下來該做什麼。
2. 01:13改進的四步迴路上線、收集 trace、對 trace 做資料探勘、用實驗驗證新的 prompt、tool 或 loop 有沒有改善。
3. 02:31觀測與持續學習agent 在環境裡運作會產生 trace；持續學習就是做事、回頭想、再更新自己的知識，所以想做持續學習得先有 trace。
4. 03:37為什麼要讀 trace程式碼讀得懂邏輯，但 agent 有 prompt、tool、skill、hook、middleware，改一處對整體行為的影響難以推理；ChatGPT 之後的四年是拿確定性換自主性。
5. 04:41LangChain 怎麼讀把資料集中在 tracing project，派 agent 去讀其他 agent 的 trace，找使用者開心或不開心的互動，也比較壓縮之後模型會不會變笨、換成 GLM-5.2 會怎樣。
6. 06:00規模帶來的兩個難題Vivek 認為今天的資料量會是人類見過最少的一次；讀 trace 的 input token 成本很高，長互動又塞不進 context。
7. 07:38開源模型夠用了先用 Opus、GPT-5.5 確認任務可行，再回頭看 trace；和 Harvey 合作、用 Harvey 的法律 benchmark 測，開源模型大致比得上 Opus 的 trace 評審能力，成本低一到兩個數量級。
8. 08:58從 harness 到微調harness engineering 到頂之後，針對垂直任務微調基礎模型，可以追上甚至超過 frontier；高用量時把 token 成本換成叢集成本更划算。
9. 10:33LangSmith Engine 與三種用法產品把讀 trace 的流程自動化；挖出來的資料拿去做蒸餾與 SFT、產生 evals、整理給人類審閱的內容。
10. 12:46Scikit-learn 的類比古典機器學習把資料配適進模型，現在換成 model、harness、task 的配適，演算法不同，流程差不多。
11. 14:07auto research 與密集回饋有分數可以推高，agent 就很會推；Terminal-Bench 只回傳通過與否不夠，要靠 trace 把回饋變密。
12. 15:58先調 harness 還是先微調盡快收集回饋，harness engineering 約兩分鐘就有回饋；建議的順序是 harness、微調、再回頭做 harness。
13. 16:47持續學習的三條軸收集 agent 行動的訓練資料、隨時間演進 harness、改進記憶；記憶要靠讀完整個生命週期的 trace 再更新。
14. 18:42結論打開 tracing、派 agent 去讀，是最容易的第一步；持續學習是在環境裡做事、再把資料整合回 agent 的狀態，而 agent 產生的資料只會越來越多。

值得記的話5 句

• There's a very tight coupling between what observability is and what continual learning is.observability 和持續學習之間有非常緊密的連結02:31

• we've started trading determinism for autonomy.我們開始拿確定性去換自主性04:24

• I think you can basically define agent behavior by showing the evals that you ran on it, right?我認為只要看你替 agent 跑了哪些 evals，大致就能定義它的行為11:41

• densifying feedback is a really good way to improve agents把回饋變密，是改進 agent 很好的方法15:43

• we are not append-only logs of information.我們人類不是只會往後加內容的紀錄檔18:10

名詞與人物9 個

trace

agent 每次運作留下的 tool call、輸出訊息、API 與 CLI 呼叫紀錄，是這場所有分析的原料

compaction

agent 長時間運作時對 context 的壓縮；Vivek 想查壓縮之後 agent 是否變笨

harness engineering

調整 prompt、tool、orchestration 這層，不動模型；回饋快，到頂之後才考慮微調

model harness task fit

Vivek 借 Scikit-learn 的說法，把 model、harness、task 配適在一起，讓任務都通過

auto research

有分數可以推高時，讓 agent 讀結果與 trace、提出實驗並修正的迴路

LangSmith Engine

LangChain 的產品，自動讀大量 trace、找問題並整理出 evals 或給人看的資料

distillation / SFT

把大模型跑出來的好 trace 整理成資料集，微調小模型去模仿，例如從 GLM-5.2 降到 9B 或 13B 的模型

Harvey

與 LangChain 合作的公司；雙方在 Harvey 的法律 benchmark 上比較開源模型與 Opus 的 trace 評審能力

Terminal-Bench

Vivek 舉的難 benchmark，輸出只有通過與否的分數

提到但沒有展開

• Vivek 提到 prompt 調整會隨領域而不同，醫療領域要的改動和法律領域完全不同。
• 在法律、醫療這類高信任領域，仍然需要人類審閱，所以把 trace 整理成人讀得動的內容，現在仍然很有價值。

Agent評估開源開發工具

在 YouTube 看原片 ↗