教模型找出真正的漏洞

081Prof. David Brumley（Bugcrowd）27:172026-08-01 上架

Teaching AI to Find Real Vulnerabilities — Prof. David Brumley, Bugcrowd

David Brumley 說明資安強化學習環境怎麼設計：用確定性的評分機制和「審計任務」避免模型鑽漏洞，再拿 Chrome 的 V8 測各家模型能駭到哪一步。

這場講了什麼

• 教模型駭人，方法跟教人一樣：Brumley 的學生 fluorescence 是讀 write-up、從簡單題目一路練上去的；教前沿模型也照這個做法，沿兩條軸設計任務，一條是目標有多難，一條是要學的利用技巧有多深。
• 評分要用確定性的 oracle：Brumley 的團隊發現，用 LLM 當裁判的話，模型永遠說自己駭成功了。他們改成程式判定，例如有沒有觸發崩潰，並要求模型交出能重現漏洞的輸入當證明。
• 一個程式常常不只一個漏洞：現有基準若只問「找出那個漏洞」，模型會一直回報最容易的那個，成長也就卡住。Brumley 提出的審計任務改問「找出所有漏洞」，並用 precision 與 recall 一起計分。
• 只讓程式崩潰不算駭進去：Brumley 認為許多舊基準只檢查崩潰，看不出模型差異。他們拿 V8 的 41 個漏洞，把能力拆成一條階梯，一路量到任意程式碼執行。
• 前沿模型的差距在後段才出現：觸發漏洞這關，GPT-5.5 與 Mythos 都拿到 95%；到任意程式碼執行，Mythos 是 73%、GPT 是 68%，Gemini 與 Kimi 是 0%。
• 公開基準碰上雙面刃：整套環境都公開了，只有 Mythos 的 transcripts 沒放出來，一來簽了 NDA，二來 Mythos 做出了可以武器化的攻擊程式。Brumley 說開放科學在這裡該怎麼做，他們還沒有答案。

影片從哪一段開始看16 段

1. 00:12開場：教電腦駭入程式推出的速度比以往快，檢查也得跑在機器的速度與規模上；Brumley 同時是卡內基美隆大學教授與 Bugcrowd 的 chief AI and science officer。
2. 01:10從 picoCTF 學生談起17 歲的 fluorescence 靠讀 write-up、由易到難練習，拿到 picoCTF 第二名；接觸資安兩年後參加 Pwn2Own，是第一個駭進 Tesla 的人，帶走 $375,000 與一台 Tesla。
3. 03:20兩條軸的任務設計一條軸是目標難度，從玩具題到 CTF 再到強化過的目標；另一條是利用難度，從找到 bug、觸發崩潰，到任意讀寫與任意程式碼執行。
4. 06:45強化學習環境的組成需要放在容器裡的有漏洞程式、確定性的評分 oracle，以及透過 MCP 開放 setup、讀寫與評分的功能；LLM 當裁判在資安上行不通。
5. 08:27為什麼要求「利用」漏洞只問找不找得到漏洞，分不出幻覺與真實漏洞；所以任務要求模型交出能讓程式出錯的輸入，評分器據此發獎勵。
6. 10:10多個漏洞讓舊基準失靈真實程式常有不只一個漏洞：不指明位置，模型只會挑最容易的；指明位置，又等於替模型做完推理。
7. 12:41DARPA 與 AIxCC 的例子DARPA 花 $60 million 設計的 Cyber Grand Challenge（Brumley 的團隊拿過冠軍），一半手工設計的題目藏著未知漏洞；Brumley 設計計分方式的 AIxCC，被找到的 bug 有 18 個是計畫外的。所以只放一個漏洞的合成題行不通。
8. 13:46審計任務與 precision／recall把問題改成找出所有漏洞，未知漏洞經驗證後併入已知集合，再算 recall 與 precision，既鼓勵找新漏洞也防止亂交。
9. 15:56評分器如何分辨漏洞評分器用堆疊回溯把崩潰歸成不同的 bug；任務不告訴模型有幾個漏洞，也允許沒有漏洞，學習訊號比較乾淨。
10. 17:23第二條軸：高價值目標舊基準多半只檢查崩潰，Brumley 的團隊與 OpenAI、Anthropic 合作，改測模型能不能攻破 Chrome 的 V8，因為它背後撐著大量系統。
11. 20:0716 項能力的階梯因為這個目標太難，失敗時幾乎沒有訊號，於是把能力拆成 16 級，從觸發漏洞、沙箱內讀寫，到跳出沙箱與任意程式碼執行。
12. 21:1141 個 V8 漏洞的結果觸發崩潰這關模型分不出高下，較弱的模型也約 50%；到任意程式碼執行才拉開，Mythos 73%、GPT 68%、Gemini 與 Kimi 為 0%。
13. 22:47不是記憶的證據Brumley 舉了幾個 CVE：Mythos 走了專家認為實務上太難的路徑，有一個在公開研究停下的地方找到新的 WASM 路徑，還有一個連內部專家都不認為能在 x86 上利用，Mythos 做到了。
14. 24:23公開資料與雙用途兩難整套資料以 Docker 映像與 MCP 介面放在 exploitbench.ai；只有 Mythos 的 transcripts 因 NDA 與可武器化的攻擊程式而不公開，開放科學該怎麼處理還沒有答案。
15. 25:31下一步：零日環境他們拿開源軟體挖出沒人見過的零日漏洞，做成強化學習環境，確保模型不是靠記憶；合作的公司最多每月拿到 10,000 個環境。
16. 26:23結論訓練資安能力並不神祕，關鍵是有專家建出正確的 oracle，並檢查模型是否靠記憶、是否鑽獎勵漏洞，以及如何處理未知漏洞。

值得記的話5 句

• The LLMs will always say they were successful hacking.LLM 永遠會說自己駭成功了07:20

• you can't just say well we're going to hand curate an environment with just one vulnerability不能只說我們手工做一個只有一個漏洞的環境13:31

• you can't trust the LLM that you're teaching to be a judge你不能讓正在教的那個 LLM 來當裁判16:15

• Crashing a program is different than hacking it.讓程式崩潰跟駭進去是兩回事18:08

• training cybersecurity is really not mysterious.訓練資安能力並不神祕26:23

名詞與人物10 個

Bugcrowd

Brumley 擔任 chief AI and science officer 的公司，在這裡負責資料合作

Pwn2Own

Brumley 稱為頂尖的資安競賽，fluorescence 在這裡拿到 $375,000 與一台 Tesla

picoCTF

每年約有一百萬名高中生參加的資安競賽，fluorescence 在這裡拿到第二名

Richard Zhu

Brumley 的學生，也就是 fluorescence，Pwn2Own 的贏家

oracle

確定性的評分機制，例如判斷程式有沒有崩潰，取代 LLM 當裁判

audit task

Brumley 提出的任務設計：不指定漏洞，改問「找出所有漏洞」並用 precision 與 recall 計分

V8

Chrome 執行 JavaScript 的引擎，也跑在 Edge、Node.js 與 Cloudflare Edge Workers 上，這場用來當高價值目標

Mythos

這場測試中任意程式碼執行成功率最高的模型，紀錄因 NDA 與風險未公開

exploitbench.ai

放 V8 這套環境的地方，以 Docker 映像與 MCP 介面提供

Sung Hyun Lee

Brumley 的學生、現任 Pwn2Own 贏家，Brumley 稱為目前 Chrome 安全的領頭人；這 41 個漏洞由 Sung Hyun Lee 驗證

提到但沒有展開

• Brumley 提到自己的學生還有 George Hotz，並說 Hotz 做出了第一個 iPhone 越獄。
• V8 的沙箱內預期會有漏洞，真正讓目標值錢的是跳出沙箱，這通常要串連多個漏洞；懸賞從 10,000 起跳到 100,000，在黑市上是數百萬。
• 做強化學習環境用的零日漏洞，來自 Brumley 團隊自建的漏洞挖掘系統，那套系統建立在過去十年跟 DARPA 合作的基礎上。

Agent安全評估研究

在 YouTube 看原片 ↗