用 GEPA 把 LLM 評審校準到能用

概要

• 現成的 judge 判不出東西Mahmoud 認為直接套函式庫裡的 hallucination judge，prompt 只是在叫模型「判斷有沒有幻覺」，模型若真的看得出來，應用從第一天就不會出錯，所以要拿人工標註去校準 judge。
• 指標要從場景長出來評估項目應該由領域專家看對話、歸納錯誤類型而來，不要套通用指標。Mahmoud 的例子拆成四種錯誤，各配一個 judge，而且每個都只做是非判斷，不打 1 到 5 分。
• 標註要附理由沒有理由，judge 得自己猜為什麼失敗，像政策遵循這種問題幾乎學不起來。Mahmoud 也強調取得與整理資料才是最難的一步。
• GEPA 的做法從一個種子 prompt 出發，每輪用反思（讓 LLM 看輸入輸出後改寫）與合併兩種方式產生新候選，再用 Pareto 前緣挑出「每個測試案例至少有一個候選能解」的集合，直到預算用完。
• 種子與反思模板都要自己調Mahmoud 把種子 judge 設成預設判合規，也自己寫了反思模板，因為預設的模板學不好。結果準確率有進步，但自己也承認離理想還遠。
• 要先小跑再放大小模型當 judge 或改寫者都失敗，單是這些小實驗就花了兩三百美元。Mahmoud 的建議是先在小迭代裡看 trace、先對訓練資料過擬合，再增加取樣。

原話

• “the speed in which you move to production or add features is actually the speed into which you can complete this loop.”

  上線或加功能的速度，其實就是你跑完這個迴圈的速度

  ▶ 01:40

• “it does not make sense to have general metrics like hallucination when you're evaluating your ai agent”

  評估自己的 agent 時，用 hallucination 這種通用指標沒有意義

  ▶ 08:36

• “having that reasoning is very important later for the llm as a judge to learn”

  有那段理由，之後 LLM judge 才學得起來

  ▶ 12:37

• “if you don't have any reason to believe it's non-compliant, it should be compliant.”

  沒有理由相信它不合規，就應該判合規

  ▶ 27:21

• “smaller models really are very bad at least in this example to be either an LLM as a judge or a refiner for the LLM as a judge”

  至少在這個例子裡，小模型不管當 judge 還是改寫 judge 的角色都很糟

  ▶ 35:05

延伸

• Mahmoud 提到飛輪的想法：評估也能像 harness 一樣自動優化，這場只示範了 judge 的優化，沒有展開完整的自動迴圈。
• Mahmoud 的假設是：種子 prompt 一開始就放進 agent 的政策，會卡在局部最小值改不動；不放政策、只靠標註裡的理由，反而能把 prompt 的空間探索得更開。