不到一美元的提示注入防線

概要

• 攻擊已成基準線Diego 說，從 23 年用戶試探系統提示詞開始，LLM 攻擊愈來愈精密，在 agentic workflow 裡還會被放大；這場逐一走過 prompt、context、模型內部、RAG、MCP、agent 六種攻擊面。
• 根源是沒有權限分離系統提示詞與使用者輸入被串成同一份文件交給模型，LLM 沒有原生機制區分系統控制與資料。Diego 也認為不能只靠模型對齊或人工審核，因為人看到的未必是模型讀到的。
• 用 encoder 做分類檢查Diego 把安全檢查看成分類問題，encoder 的雙向注意力一次看完整段輸入，微調後的模型每次分類只要 35 毫秒，還能自架、幾小時內重訓。
• ModernBERT 的設計對得上需求交替的局部與全域注意力、unpadding 加 sequence packing、深而窄的層數、rotary positional encoding、FlashAttention，讓它能處理到 8192 token 的輸入。
• 微調成果與限制用 InjecGuard 資料集微調，large 版比 base 版準確率提高將近六個百分點，在這場的評測上接近 85%。Diego 明講這只是 baseline，不是安全的黃金標準。

原話

• “So, these attacks are no longer the exception, they are now the baseline.”

  這些攻擊不再是例外，而是常態

  ▶ 00:15

• “the LLMs they have no native separation of concerns between the system controls and the data”

  LLM 沒有原生機制區分系統控制與資料

  ▶ 02:57

• “model alignment is more a probabilistic preference, it's not a hard constraint”

  模型對齊比較像機率偏好，不是硬性限制

  ▶ 07:10

• “Trust nothing, verify everything.”

  什麼都不信，什麼都要驗證；Diego 在講零信任這個資安原則的核心

  ▶ 14:29

• “this is obviously not the gold standard for safety so this is just the baseline”

  這顯然不是安全的黃金標準，只是 baseline

  ▶ 43:14

延伸

• Diego 提到除了輸入檢查，理想上還應該為 RAG、MCP、context 記憶與 agent 計畫各加安全檢查，但這場只實作了輸入端的分類。
• Diego 列出規則過濾、canary token、constrained decoding 等其他實作選項，只點到名稱，沒有展開。