用 GEPA 與 evals 自動優化 agent prompt

概要

• GEPA 的運作方式Samuel Colvin 說 GEPA 是優化字串的函式庫，取 Pareto frontier 上表現最好的候選，混合出新候選再試，也強調這招雖然是目前最先進的做法，原理並不玄：請 agent 生新 prompt，變好就留下來，一直重複。
• 先有 golden set 才談得上優化示範任務是從英國國會議員的維基百科頁面找出祖先中的政治人物。Samuel 建議盡量用確定性的自訂 evaluator 對照 golden set，不要全靠 LLM 當裁判。
• 實測數字簡單 prompt 的準確率約 87%，手寫的詳細 prompt 是 92%，GEPA 跑完是 96.7%，代價是 prompt 變得很冗長。
• 值不值得優化要看情境Samuel 認為資料大多是私有、需要塞進大量領域脈絡時，優化最有價值；也提醒換模型就可能得重跑，所以多數人並不做。
• managed variablesLogfire 把 prompt 管理再往前一步，變數可以是任何 Pydantic model，能設定各值的流量比例，改完不用重新部署。現場把回答語言改成法文、德文，也把模型換掉。
• 回饋訊號與隱私Samuel 認為最好的評估訊號是使用者下一步做了什麼；對不能外流資料的產業，可以只記錄好壞這類分類結果。

原話

• “if you can have a like deterministic eval like this where we're comparing what the result is versus a golden data set that's much better”

  能有像這樣跟 golden data set 對照的確定性 eval，會好得多

  ▶ 18:34

• “Ask an agent to generate a new prompt, if it does better take bits of that, put it into a new prompt.”

  請 agent 生一個新 prompt，如果表現比較好，就取其中一部分放進新 prompt

  ▶ 37:19

• “optimization matters way more where you have a large amounts of private data”

  私有資料量大的時候，優化重要得多

  ▶ 42:47

• “as models get more intelligent, figuring out what right looks like is harder and harder”

  模型越聰明，要判斷什麼才是對的就越困難

  ▶ 48:04

• “the best thing you can possibly do is something which is implicit in the user's experience”

  最好的做法是利用使用者體驗中隱含的訊號

  ▶ 1:11:53

延伸

• Samuel 說他們正在做讓平台自動優化 agent 的功能，這場只是用 managed variables 拼出原型。
• Samuel 提到除了 prompt，模型、compaction 策略、工具註冊方式與 code mode 也都能一起優化，但這場沒有示範。
• Shopify 的案例只講了大意：從把整個網站交給 GPT-5，改成 agent 加 Qwen 模型並用 GEPA 優化 prompt，成本大幅下降。