AI agent 判斷不一致怎麼辦

086Diane Lin（Datadog）25:382026-07-20

Why Your Agent Disagrees With Itself (And What To Do About It) - Diane Lin, Datadog

從情緒分析與資安警示的案例出發，說明 AI agent 為何對同樣輸入給出不同判斷，並用 active learning 找出爭議案例，靠語意記憶與情節記憶補上判斷一致性。

重點摘要

同輸入不同判斷的問題：情緒分析與資安警示任務中，同一個 AI agent 對相同輸入多次執行，有時會給出不同結論，這不只是隨機性，還會讓客戶對產品失去信任。
不一致集中在決策灰色地帶：容易反覆翻盤的案例多半落在分類邊界附近，即使人類專家對這些案例也常有分歧，答案沒有絕對對錯，取決於各家公司自己的政策與偏好。
借用 active learning 找出問題案例：傳統機器學習用不確定性分數挑出模型沒把握的資料，但 LLM 的信心分數不可靠；改用多次執行或多個模型之間的意見分歧當訊號，更能抓出真正需要人工複核的案例。
用語意記憶與情節記憶取代重新訓練：找出灰色地帶案例後，不必急著微調模型，可以把人工釐清後的判斷準則寫進 semantic memory，或把過去類似案例存進 episodic memory 讓 agent 直接參考，兩者互補，能自動處理大量重複出現的情境。
實驗結果：93 筆資安警示重複執行三次，原本四分之一會翻盤；導入 episodic memory 後，其中約 15% 轉為穩定判斷，僅剩約 10% 仍會反覆，多半是缺乏過去參考案例的情況。

時間軸13 段

00:00	開場	Diane Lin 自我介紹經歷，並預告要講 AI agent 為何對同樣輸入給出不同判斷。
02:02	點出核心問題	指出同樣輸入卻得到語意上不同的輸出，這不只是 LLM 隨機性造成的技術小麻煩。
03:09	情緒分析案例	舉飯店評論情緒分類為例，同一模型重複執行會對同一則評論給出不同標籤。
04:18	資安警示案例	換到資安場景：agent 判斷同一則登入異常警示時，也會在良性與可疑之間反覆。
05:34	不一致傷信任	指出這種反覆判斷會在客戶比較不同廠商時直接影響成交，是信任問題而非小瑕疵。
06:12	找出灰色地帶	反覆翻盤的案例多半集中在分類邊界附近，這個灰色地帶才是問題根源。
07:21	邊界案例沒有標準答案	舉例說明邊界案例連人類專家也有分歧，判法要看各公司自己的政策與偏好。
10:52	借用 active learning	提出解法方向：機器學習裡既有的 active learning，可以用來挑出模型沒把握的資料。
14:22	LLM 版本的兩個環節	把傳統 active learning 搬到 LLM 上，分成挑選策略與後續補強兩個部分。
14:38	用分歧取代信心分數	LLM 自己回報的信心分數不可靠，改用多次執行或多模型之間的意見分歧當訊號更準。
15:35	不一定要重新訓練	找出爭議案例後不急著微調模型，改用 semantic memory 與 episodic memory 這種更輕量的做法。
17:41	兩種記憶的分工	semantic memory 存放人工蒸餾出的判斷準則，episodic memory 則直接參考過去類似案例，兩者互補。
22:12	實驗數字與結論	用 93 筆資安警示的實測數字說明方法有效，並總結三個帶得走的重點。

值得記的話4 句

same input but different output相同輸入卻給出不同輸出02:49
it's not your AI agent's fault.這不是你的 AI agent 的錯10:14
the model disagreement isn't a bug but feature.模型的意見分歧不是缺陷，而是特點24:12
fine-tuning isn't your only option.微調模型不是你唯一的選擇24:27

名詞與人物7 個

Diane Lin: Datadog 自我演進 agent 開發的負責人，這場演講的講者，先前共同創辦資安新創 Cloudmanate。
Datadog: 收購 Cloudmanate 的可觀測性與資安平台公司，Diane Lin 目前在此帶領 agent 開發工作。
Cloudmanate: Diane Lin 共同創辦的公司，做的是用 AI agent 自動分類資安警示，後來被 Datadog 收購。
active learning: 機器學習既有做法，用來從大量未標記資料中，挑出模型最沒把握、最值得人工複核的樣本。
semantic memory: 把人工釐清過的判斷準則（例如某公司的政策）寫成知識，讓 agent 之後可以直接查詢套用。
episodic memory: 讓 agent 直接參考過去處理過的相似案例與其結論，不必等人工把道理整理成規則。
query by committee: active learning 的一種做法，靠比較多個模型（或同一模型跑多次）的判斷是否一致，找出分歧案例。

提到但沒有展開

講者在結尾提到 Datadog 資安分析師團隊與幾位同事協助這項研究，但沒有進一步說明各自的角色。
episodic memory 目前仍有約 10% 的案例無法收斂一致，原因包含缺乏過去相似案例可參考，這部分演講沒有再展開。

Agent評估模型

在 YouTube 看原片 ↗