061 · AI 抓漏洞時代的資安因應
前沿模型抓漏洞的能力大躍進，講者主張把關鍵開源函式庫改寫成記憶安全語言才是根本解法。
原標題：The AI bugpocalypse is here. Now what? - Jack Cable, Corridor
重點摘要
- AI 找漏洞速度暴增前沿模型抓漏洞、執行攻擊鏈的能力進步很快，開源函式庫首當其衝，形成所謂的 bugpocalypse。
- 漏洞類型其實不新模型找到的漏洞多半屬於已知類別，例如 buffer overflow 這種數十年前就有的手法，防禦方其實早有工具可用。
- 改用記憶安全語言才是根本解方Google Android 資料顯示，光是把新程式碼改用記憶安全語言寫，記憶安全漏洞占比就從 2019 年的 75% 降到 2022 年的 30%。
- AI 寫程式一樣會出漏洞BaxBench 研究顯示，就連最強的模型寫程式時仍有兩到四成機率引入漏洞，而且愈來愈多是牽涉商業邏輯的授權類漏洞。
- 資安不能擋開發加速Corridor 主張在 PR 送出前先攔漏洞，並預期未來六到十二個月內，多數程式碼會改由 AI 而非人力審查。
- 政策上主張放寬出口管制、扶植美製開放權重模型讓防禦方也能用上最強模型，同時避免美國在開放權重模型的競賽中缺席。
時間軸
時碼點下去會跳到影片的那一段。
| 時碼 | 段落 | 重點 |
|---|---|---|
| 00:00 | 開場 | Jack Cable 開場，點出前沿模型找漏洞能力暴增造成的「bugpocalypse」。 |
| 00:35 | 講者背景 | Corridor 共同創辦人暨執行長，曾是 HackerOne 百大駭客。 |
| 01:31 | 攻防雙升 | AI coding 工具用量暴增，模型找漏洞與寫漏洞的能力同步進化。 |
| 02:10 | 用量數據 | 引用去年 Stack Overflow 調查，多數開發者已用 AI 寫程式，agent 自主性也提高。 |
| 03:06 | 模型能力躍進 | 引用 Anthropic 資料，模型執行完整攻擊鏈的能力快速提升。 |
| 04:30 | 回顧 Secure by Design | 講者在政府任內於 2023 年推動的資安倡議。 |
| 06:35 | 漏洞其實不新 | MITRE／CISA 常見漏洞清單顯示，多數類型數十年前就有防範方法。 |
| 08:00 | 記憶安全語言見效 | Google Android 資料：記憶安全漏洞占比從 75% 降到 30%。 |
| 09:35 | 主張一次性重寫 | 與其一直修補漏洞，不如把關鍵開源函式庫一次改寫成 Rust。 |
| 10:46 | AI 寫程式也會出包 | Opus 4.6 曾在智能合約中引入漏洞、導致數百萬美元被竊；BaxBench 數據佐證。 |
| 12:47 | Corridor 的做法 | 在 PR 送出前攔截漏洞，預期 AI 審查程式碼將成主流。 |
| 14:40 | 政策主張 | 呼籲放寬前沿模型出口管制、扶植美製開放權重模型，並分享國會作證的建議。 |
值得記的話
名詞與人物
| Corridor | 講者創辦的資安新創，專注在守住 AI 寫程式的安全性。 |
|---|---|
| HackerOne | 漏洞懸賞平台，講者高中時期曾擠進全球百大駭客排名。 |
| BaxBench | ETH Zurich 與 UC Berkeley 研究團隊做的程式漏洞評測基準。 |
| MITRE | 講者引用其漏洞分類清單，說明常見漏洞類型多半是舊類型。 |
| Rust | 記憶安全語言，講者主張把關鍵開源函式庫改寫成這種語言。 |
| Secure by Design | 講者在政府任內於 2023 年推動的資安倡議報告。 |
| Mythos | Anthropic 的前沿模型，講者用它跟其他模型的比較圖來說明找漏洞與串攻擊鏈的能力進展，結尾也提到它被納入出口管制。 |
| Opus 4.6 | 講者舉例提到曾在智能合約中引入漏洞、導致數百萬美元被竊的模型。 |
延伸
- Fable：講者提到這款模型與 Mythos 前後問世、具備一定安全防護，但沒有進一步說明。
- 蒸餾攻擊（distillation attack）：講者提到開放權重模型廠商會用封閉模型的輸出訓練自家模型，讓兩者能力差距快速縮小，但沒有展開細節。
- 美國國會聽證：講者提到自己不久前赴美國國會，針對前沿模型與 AI coding 風險作證，但沒有詳述聽證內容。