替 agent 寫規格再做測試

概要

• 更聰明不等於更好Willmott 指出有些 jailbreak 對大模型反而更有效，agent 的權限越廣，可被利用、也要測試的範圍就越大；要找的是夠用、但做不出任意傷害的模型。
• 資料集只是規格的一部分Willmott 列出的規格還包括業務規則、詞彙與領域知識、角色與權限，再加上「壓力下是否仍能運作」。
• 規則很難證明沒被違反Willmott 舉客服 agent 的折扣上限與退款期限為例，說要確認規則絕對不會被破，其實很難。
• 規格同時餵給兩種測試Willmott 說他們的平台把規格拉進安全檢查與穩健性測試，因為 agent 被允許談的領域，正是最可能出事的地方。
• 規格要和實作分開Willmott 建議測試獨立於 agent 框架，換平台時還能沿用，並用測試結果回頭補洞，稱之為「後院版的 RL」。

原話

• “this is about how you specify what an agent or an AI system is supposed to do.”

  重點是怎麼規範 agent 或 AI 系統該做什麼

  ▶ 01:43

• “it's not obvious that bigger is safer, and it's not obvious that bigger is better.”

  更大不一定更安全，也不一定更好

  ▶ 03:05

• “How do you actually test for sure that a rule is never violated?”

  你要怎麼確定一條規則絕對不會被違反

  ▶ 05:34

• “It's not proper RL because you're not doing it on the model, but you're kind of like jury rigging something around the outside.”

  這不是真正的 RL，因為不是在模型上做，而是在外圍土法煉鋼

  ▶ 11:42

延伸

• 視覺與表格模型可以直接拿到模型做形式驗證；語言模型拿不到模型本身，所以 SafeIntelligence 的新產品改成想辦法產生邊界案例與測試案例。
• Willmott 說 LLM 圈現在把 eval 當成測試集，但規格要比 eval 再往外多想一步。