這一站 5 場,你看完 0 場

生成者與驗證者不該是同一個

026Manoj Nair(Snyk)23:292026-07-20 上架

Through the AI Fog: The Architectural Decision Agentic Security Depends On — Manoj Nair, Snyk

生成者與驗證者不該是同一個的演講縮圖

Manoj Nair 在大會首度設立的安全軌開場,用 Snyk 客戶的實際數據談 agent 時代的三個安全問題,主張產生程式碼的和檢查程式碼的不能是同一套系統。

這場講了什麼

  • 安全終於進了這個會場:Manoj Nair 說去年大會有 3,000 人,現場感覺就是少了安全。今年和 AI Engineer 團隊合辦安全軌;在 Manoj 看來,讓安全成為房間裡的一份子,才是穿過迷霧的方式。
  • 客戶反覆提的三個問題:自動化攻擊、agent 的產出與環境不可信、不知道自己到底有哪些 agent 元件。大家在前沿快速開發,卻沒人回答得了「你能不能信任 agent 剛交出來的東西」。
  • 積壓與攻擊一起惡化:過去一年 4,800 多家客戶的漏洞積壓,季對季多了 108%;攻擊者也不需要最強的模型,只要有好的 context 和 harness,就能把低風險漏洞串成可利用的攻擊。
  • 技能、MCP 與 agent 行為都是新破口:Manoj 提到的研究發現,技能裡有超過三分之一帶有惡意程式或漏洞;在 Fortune 100 客戶的環境裡,agent 還會自己複製一份 PII 資料到不受信任的資料庫。
  • LLM 單獨驗證不夠:Snyk 前一天剛公開的基準測試裡,最新模型找同一個漏洞跑五次,只有 50% 找得到;這不代表模型不好,而是要和確定性檢查搭配,各做擅長的事。
  • Snyk 的做法與現場示範:在 agent 迴圈裡先放進安全脈絡、用 remediation agent 清積壓,並推出 agentic dev security;同台的 Ezra 示範檢查套件健康度與評估技能風險。

影片從哪一段開始看13 段

  1. 01:40自我介紹與安全軌緣起Manoj Nair 的團隊替約 5,000 家企業客戶做資安,Fortune 500 有一半在用 Snyk;去年大會感覺少了安全,今年和 AI Engineer 合辦安全軌。
  2. 03:18核心問題:生成者與驗證者拋出貫穿全場的問題:生成的和驗證的可以是同一個嗎?接著預告客戶常提的三個問題。
  3. 04:23問題一:自動化攻擊不需要最頂尖的模型也能發動自動化攻擊;低風險漏洞可以串成攻擊,「只修 critical 和 high」的做法站不住。
  4. 05:44程式碼品質與新威脅面AI 產出的程式碼品質比人寫的差一點,環境又可能被下毒,再加上 agent 的行為與新建的 agent 應用,問題一層疊一層。
  5. 06:54積壓數據與 Five Eyes 警告4,800 多家客戶的積壓季對季多了 108%;舊漏洞在新的攻擊面上串起來,影響範圍更大。上週 Five Eyes 也警告 AI 幾個月內、而不是幾年內就能繞過資安系統。
  6. 08:33問題二:技能與 MCP 的風險技能有超過三分之一帶惡意程式或漏洞;MCP 內建的安全很少,有些客戶立刻關掉所有 MCP 伺服器,開發者一片哀號,接著要面對的是怎麼安全地重新打開。
  7. 09:39agent 行為:複製 PIIFortune 100 客戶的環境裡,agent 為了「以防萬一」把 PII 資料複製到另一個資料庫,變成不在任何企業資安涵蓋範圍內的攻擊面。
  8. 10:26問題三:不知道有什麼就無從治理3,000 多家客戶的程式碼庫裡,每找到一個模型就有三倍的 agent 相關元件;Snyk 另用自家風險資料庫測各模型的 PII 擷取與決策覆寫。
  9. 12:07新研究:LLM 找漏洞不穩前一天公開、未被模型訓練過的基準測試:同一漏洞跑五次只有 50% 找得到,結論是 LLM 與確定性檢查要分工搭配。
  10. 13:33Snyk 的對策把安全脈絡放進 agent 迴圈(Studio);用 remediation agent 清積壓,Labelbox 清到零積壓,一家 Mag 7 公司上週修掉 16,000 個 critical 問題;前一天也讓 agentic dev security 正式上市。
  11. 15:42示範一:套件健康度檢查Ezra 請 Claude 寫一個從 prompt 產生 QR code 圖片的 CLI 工具,現場網路不穩改播錄影。兩個候選套件都沒有 CVE,但一個持續維護,另一個十年前首次發布、現在沒人維護。
  12. 18:57示範二:評估技能風險對一個競品分析技能做風險評估,回報四項發現,包括要求印出 authorization header,以及從網路上的 YAML 檔抓執行邏輯,對方一改就可能被利用。
  13. 20:49收尾:Evo 與社群Evo 是 Snyk 去年底提出的系統;Manoj 借戰鬥機飛行員「觀察、定向、決策、行動」的訓練講持續學習,目標是讓 AI 安全工程師也有十倍的戰力。

值得記的話5 句

  • the generator and the validator be the same?生成者和驗證者可以是同一個嗎?03:18
  • can you trust what your agents just shipped and how they did it, right?你能信任 agent 剛交出來的東西,以及它是怎麼做出來的嗎?04:07
  • you can string low vulnerabilities and create exploits.你可以把低風險的漏洞串起來,做出可利用的攻擊05:10
  • Three lines of English are able to now bring a system down.現在三行英文就能讓一套系統垮掉09:06
  • you can't govern what you don't know exists.你無法治理你不知道存在的東西10:26

名詞與人物11 個

Manoj Nair
Snyk 的 chief innovation officer 兼 CTO,也參與策劃這場大會的安全軌
Snyk
Manoj 任職的資安公司,說自己協助約 5,000 家企業客戶,Fortune 500 有一半在用
Ezra
同台做兩段示範的 Snyk 同事
generator-validator separation
這場的核心主張:產生程式碼的系統和驗證它的系統不該是同一個
deterministic check
確定性檢查,Manoj 拿來和 LLM 對照,認為兩者要分工搭配
skills
讓 agent 載入的技能檔,Manoj 提到的研究發現超過三分之一帶惡意程式或漏洞
MCP
連接企業資料的協定,Manoj 說它很好用但內建的安全很少
Evo
Snyk 去年底提出的系統概念,之後陸續加上各種 agent,目標是讓 AI 安全工程師有自己的工具
Studio
Snyk 把安全脈絡放進 agent 開發迴圈的產品
agentic dev security
Snyk 前一天正式上市的產品,檢查 coding agent 的環境、產出、技能、MCP 伺服器與行為
package health check
示範一用到的工具,回報套件有沒有 CVE、是否持續維護與下載量

提到但沒有展開

  • 把低風險漏洞串成攻擊,用 Mythos 等級的模型幾乎不需要 harness,換成其他模型多花點功夫也做得到。
  • Snyk 用自家風險資料庫測模型:兩個前沿模型擋下了所有 PII 擷取攻擊,最近在矽谷爆紅的那個模型則是 100% 被擷取;換成決策覆寫測試,前沿模型表現較差,開放模型 0% 被覆寫。Manoj 的意思是要知道什麼時候該用哪一個。
  • 協調多個 agent、harness 與共享記憶,Manoj 承認還沒完全解決。

安全Agent開發工具產業觀察

在 YouTube 看原片 ↗

同一站:AI Safety and Ethics5 場

  1. 用型別系統把 agent 關進證明裡008 · Erik Meijer aka @HeadinTheBox · 21 分
  2. 用 LLM 找洞、驗證、修補程式碼024 · Eugene Yan(Anthropic) · 22 分
  3. 生成者與驗證者不該是同一個你在這裡
  4. 別把憑證交給 agent,給它授權029 · Paola Estefania(Better Auth) · 41 分
  5. 上架前先掃過 2,000 個 AI skills060 · Lucas Palma(Nubank) · 16 分