全部場數

051 · 用活化差異抓出 LLM 後門

微調後的模型能騙過所有監控，講者示範怎麼比對基座與微調模型的活化值差異，揪出藏在裡面的後門。

2026-07-0813:57Sachin Kumar（LexisNexis）安全評估模型研究看原片

原標題：Your LLM Deception Monitor Is Broken. The Fix Is in the Training Data - Sachin Kumar, LexisNexis

重點摘要

  • 模型能騙過所有監控微調後的模型可以在 eval 與行為監控上全部過關，卻在沒人測過的觸發條件下切換成惡意行為，這就是 sleeper agent。
  • 後門有四個入口訓練資料被汙染、外包微調商交回的權重無法完全稽核、下載來路不明的 checkpoint，或是有管線權限的內部人員，都能把條件式行為植進模型。
  • 兩種常見監控都測不到行為測試得先猜到觸發字才有用；把基座與微調模型活化值合併起來訓練特徵的做法，後門訊號也會被模型其他語意蓋過去。
  • 改看兩個模型的差值取微調後與基座模型 activation 的差，拿差值訓練 sparse autoencoder，後門就會浮現成一個好辨識的特徵，比合併特徵法強約 40 倍、precision 達 1。
  • 代價是召回率有限單一特徵只抓得到約四分之一的觸發，需要多個特徵一起用才夠涵蓋；方法目前也只在 3.6 億參數模型、單一類型後門上驗證過。
  • 可以直接放進 pipeline整套做法對每個 checkpoint 只是一次便宜的前向傳遞，特徵一觸發就擋建置、發告警，而且能直接檢視它在對什麼反應。

時間軸

時碼點下去會跳到影片的那一段。

時碼段落重點
00:00開場自介Sachin Kumar（LexisNexis）自我介紹，說明這場演講的研究已獲 IJCNN 收錄且程式碼開源，主題是行為監控抓不到的 LLM 後門。
00:19核心警告微調過的模型可能通過所有 eval 與行為監控，卻仍在特定觸發條件下藏著沒被測過的 sleeper agent。
01:45後門怎麼進來後門可能來自資料汙染、外包微調商、來路不明的 checkpoint，或有管線權限的內部人員，沒掌控每一筆訓練資料就有風險。
02:44為何難抓觸發條件看起來完全無害、能撐過 eval 與 RLHF 安全訓練，模型規模越大後門反而藏得越牢。
03:28既有監控失靈行為測試得先知道觸發字才有用；把基座與微調模型活化值合併訓練特徵的做法，後門訊號也會被稀釋掉。
04:28解法核心改成取兩個模型 activation 的差值，拿差值訓練 sparse autoencoder，後門會浮現成單一可辨識的特徵。
05:06實驗設計用「年份觸發 SQL injection」當可控後門驗證方法，模型是 SmolLM2 360M，訓練與測試資料都用程序化生成避免被質疑刻意挑資料。
06:46後門確實裝上了full-rank 微調後觸發年寫出漏洞比例達 100%、非觸發年 0%；LoRA 較弱較容易外洩；沒微調過的基座模型完全沒反應。
08:32關鍵結果差值特徵法比合併特徵法強約 40 倍，precision 達 1、零誤報，但單一特徵只抓得到約四分之一的觸發。
09:30穩健性驗證換層、換成 LoRA 微調結果都一致，而且用更小的 sparse autoencoder 就能做到，運算成本低。
10:13為什麼有效後門其實是稀釋在上千個特徵裡的固定方向，扣掉基座共有語意後訊噪比拉高約十倍。
10:50落地做法用固定探測輸入算基座與微調模型的活化值差、丟進 diff-SAE，特徵沒觸發才放行出貨，觸發就擋建置並可以直接檢視特徵在對什麼反應。
12:22限制與未來方向這個方法一定要有基座 checkpoint 可比對，目前只在小模型上測過一種後門，也還沒對抗過知道這套防禦存在的攻擊者。
13:14結語行為監控與合併特徵法對 sleeper agent 都是瞎的，真正有效的訊號藏在微調前後的活化值差異裡。

值得記的話

名詞與人物

sleeper agent平常行為正常、只在特定觸發條件下才切換成惡意行為的後門模型。
joint feature 法把基座與微調模型的 activation 直接合併起來訓練特徵的既有做法，這場證明它幾乎測不到後門。
diff-SAE講者提出的做法：改拿基座與微調模型 activation 的差值訓練 sparse autoencoder，把後門變成單一特徵。
SmolLM2這場實驗用來驗證方法的 3.6 億參數小模型。
LoRA只調整部分參數的輕量微調方式，這場拿來跟 full-rank 微調比較後門殘留程度。
RLHF以人類回饋做強化學習的安全訓練，講者指出後門可以撐過這個階段而不被抓到。
LexisNexis講者 Sachin Kumar 任職的公司；他強調這是自己獨立完成的研究。

延伸

  • 講者提到 sleeper agent 這個概念出自先前一篇論文，但這場沒有進一步介紹那篇論文本身。
  • 講者提到已有其他文獻在 20 億參數的模型上驗證過 diff-SAE 這套方法有效，但沒有說明是哪篇研究。
  • 講者在結尾提到下一步要做「adversarial robustness」與「pain detection 並直接移除後門」，但這場沒有展開細節。