生成者與驗證者不該是同一個
Through the AI Fog: The Architectural Decision Agentic Security Depends On — Manoj Nair, Snyk

Manoj Nair 在大會首度設立的安全軌開場,用 Snyk 客戶的實際數據談 agent 時代的三個安全問題,主張產生程式碼的和檢查程式碼的不能是同一套系統。
這場講了什麼
- 安全終於進了這個會場:Manoj Nair 說去年大會有 3,000 人,現場感覺就是少了安全。今年和 AI Engineer 團隊合辦安全軌;在 Manoj 看來,讓安全成為房間裡的一份子,才是穿過迷霧的方式。
- 客戶反覆提的三個問題:自動化攻擊、agent 的產出與環境不可信、不知道自己到底有哪些 agent 元件。大家在前沿快速開發,卻沒人回答得了「你能不能信任 agent 剛交出來的東西」。
- 積壓與攻擊一起惡化:過去一年 4,800 多家客戶的漏洞積壓,季對季多了 108%;攻擊者也不需要最強的模型,只要有好的 context 和 harness,就能把低風險漏洞串成可利用的攻擊。
- 技能、MCP 與 agent 行為都是新破口:Manoj 提到的研究發現,技能裡有超過三分之一帶有惡意程式或漏洞;在 Fortune 100 客戶的環境裡,agent 還會自己複製一份 PII 資料到不受信任的資料庫。
- LLM 單獨驗證不夠:Snyk 前一天剛公開的基準測試裡,最新模型找同一個漏洞跑五次,只有 50% 找得到;這不代表模型不好,而是要和確定性檢查搭配,各做擅長的事。
- Snyk 的做法與現場示範:在 agent 迴圈裡先放進安全脈絡、用 remediation agent 清積壓,並推出 agentic dev security;同台的 Ezra 示範檢查套件健康度與評估技能風險。
影片從哪一段開始看13 段
- 01:40自我介紹與安全軌緣起Manoj Nair 的團隊替約 5,000 家企業客戶做資安,Fortune 500 有一半在用 Snyk;去年大會感覺少了安全,今年和 AI Engineer 合辦安全軌。
- 03:18核心問題:生成者與驗證者拋出貫穿全場的問題:生成的和驗證的可以是同一個嗎?接著預告客戶常提的三個問題。
- 04:23問題一:自動化攻擊不需要最頂尖的模型也能發動自動化攻擊;低風險漏洞可以串成攻擊,「只修 critical 和 high」的做法站不住。
- 05:44程式碼品質與新威脅面AI 產出的程式碼品質比人寫的差一點,環境又可能被下毒,再加上 agent 的行為與新建的 agent 應用,問題一層疊一層。
- 06:54積壓數據與 Five Eyes 警告4,800 多家客戶的積壓季對季多了 108%;舊漏洞在新的攻擊面上串起來,影響範圍更大。上週 Five Eyes 也警告 AI 幾個月內、而不是幾年內就能繞過資安系統。
- 08:33問題二:技能與 MCP 的風險技能有超過三分之一帶惡意程式或漏洞;MCP 內建的安全很少,有些客戶立刻關掉所有 MCP 伺服器,開發者一片哀號,接著要面對的是怎麼安全地重新打開。
- 09:39agent 行為:複製 PIIFortune 100 客戶的環境裡,agent 為了「以防萬一」把 PII 資料複製到另一個資料庫,變成不在任何企業資安涵蓋範圍內的攻擊面。
- 10:26問題三:不知道有什麼就無從治理3,000 多家客戶的程式碼庫裡,每找到一個模型就有三倍的 agent 相關元件;Snyk 另用自家風險資料庫測各模型的 PII 擷取與決策覆寫。
- 12:07新研究:LLM 找漏洞不穩前一天公開、未被模型訓練過的基準測試:同一漏洞跑五次只有 50% 找得到,結論是 LLM 與確定性檢查要分工搭配。
- 13:33Snyk 的對策把安全脈絡放進 agent 迴圈(Studio);用 remediation agent 清積壓,Labelbox 清到零積壓,一家 Mag 7 公司上週修掉 16,000 個 critical 問題;前一天也讓 agentic dev security 正式上市。
- 15:42示範一:套件健康度檢查Ezra 請 Claude 寫一個從 prompt 產生 QR code 圖片的 CLI 工具,現場網路不穩改播錄影。兩個候選套件都沒有 CVE,但一個持續維護,另一個十年前首次發布、現在沒人維護。
- 18:57示範二:評估技能風險對一個競品分析技能做風險評估,回報四項發現,包括要求印出 authorization header,以及從網路上的 YAML 檔抓執行邏輯,對方一改就可能被利用。
- 20:49收尾:Evo 與社群Evo 是 Snyk 去年底提出的系統;Manoj 借戰鬥機飛行員「觀察、定向、決策、行動」的訓練講持續學習,目標是讓 AI 安全工程師也有十倍的戰力。
值得記的話5 句
the generator and the validator be the same?
生成者和驗證者可以是同一個嗎?03:18can you trust what your agents just shipped and how they did it, right?
你能信任 agent 剛交出來的東西,以及它是怎麼做出來的嗎?04:07you can string low vulnerabilities and create exploits.
你可以把低風險的漏洞串起來,做出可利用的攻擊05:10Three lines of English are able to now bring a system down.
現在三行英文就能讓一套系統垮掉09:06you can't govern what you don't know exists.
你無法治理你不知道存在的東西10:26
名詞與人物11 個
- Manoj Nair
- Snyk 的 chief innovation officer 兼 CTO,也參與策劃這場大會的安全軌
- Snyk
- Manoj 任職的資安公司,說自己協助約 5,000 家企業客戶,Fortune 500 有一半在用
- Ezra
- 同台做兩段示範的 Snyk 同事
- generator-validator separation
- 這場的核心主張:產生程式碼的系統和驗證它的系統不該是同一個
- deterministic check
- 確定性檢查,Manoj 拿來和 LLM 對照,認為兩者要分工搭配
- skills
- 讓 agent 載入的技能檔,Manoj 提到的研究發現超過三分之一帶惡意程式或漏洞
- MCP
- 連接企業資料的協定,Manoj 說它很好用但內建的安全很少
- Evo
- Snyk 去年底提出的系統概念,之後陸續加上各種 agent,目標是讓 AI 安全工程師有自己的工具
- Studio
- Snyk 把安全脈絡放進 agent 開發迴圈的產品
- agentic dev security
- Snyk 前一天正式上市的產品,檢查 coding agent 的環境、產出、技能、MCP 伺服器與行為
- package health check
- 示範一用到的工具,回報套件有沒有 CVE、是否持續維護與下載量
提到但沒有展開
- 把低風險漏洞串成攻擊,用 Mythos 等級的模型幾乎不需要 harness,換成其他模型多花點功夫也做得到。
- Snyk 用自家風險資料庫測模型:兩個前沿模型擋下了所有 PII 擷取攻擊,最近在矽谷爆紅的那個模型則是 100% 被擷取;換成決策覆寫測試,前沿模型表現較差,開放模型 0% 被覆寫。Manoj 的意思是要知道什麼時候該用哪一個。
- 協調多個 agent、harness 與共享記憶,Manoj 承認還沒完全解決。