AI 安全是地緣政治問題

105 · AI 安全是地緣政治問題

36:24YouTube 上架 2025-03-05Dan Hendrycks（Center for AI Safety）

No Priors Ep. 105 | With Director of the Center of AI Safety Dan Hendrycks

Dan Hendrycks 認為 AI 風險管理多半是地緣政治與國家戰略的問題，技術只占一小部分。從互相嚇阻的構想、算力與出口管制，一路談到評測基準還剩多少路。

105 講了什麼

實驗室能做的有限Dan 認為各家實驗室早就註定要競賽，能做的主要是擋掉恐怖主義與意外這類風險。和中國競爭的前景會大幅限制公司的行為；勞動市場的衝擊，也不是調整設計或多加一些拒答資料就能改變的。
自願暫停行不通Dan 說沒有武力或查核機制當後盾的協議，只會讓守規矩的一方變弱。Dan 也不贊成把賭注壓在一座與外界隔絕的超級智慧計畫上，因為間諜與人才流動都擋不住。
互相嚇阻的構想Dan 與 Eric Schmidt、Alexandr Wang 等人提出 mutually assured AI malfunction。若某國看起來要靠 AI 取得壓倒性優勢，其他國家會用網路攻擊等手段先下手，所以各國會被嚇阻，不去做 AI 超級武器。
給政府的具體做法Dan 提的幾項都是基本國家工具，包括 CIA 蒐集他國 AI 計畫的情報、CYBERCOM 備好癱瘓資料中心的攻擊、掌握 AI 晶片位置與做最終用途查核。
出口管制的定位Dan 認為不可能徹底限制其他強權的能力，但可以限制流到流氓行為者手上，也可以靠嚇阻去限制意圖。
評測還在補洞Humanity's Last Exam 這類封閉式題目的基準，成績逼近滿分時就算走到盡頭。Dan 說 AI 在 agent 任務上還很差，所以接下來需要衡量開放式任務的評測。

從哪一段開始看15 段

00:02開場與入行動機主持人介紹 Dan 參與合寫的 superintelligence strategy。Dan 說很早就覺得 AI 會是這個世紀最重要的事，而且尾端風險長期被低估。
01:18實驗室的角色有限Dan 認為實驗室只能做基本防護，能降低恐怖主義與意外的風險；競賽、勞動衝擊與地緣政治這些，公司設計怎麼調都改變不了。
03:11alignment 與 safetyDan 把 alignment 視為 safety 的子集。就算 AI 都聽話，中美之間的戰略競爭與高風險容忍度仍在。
04:43國安上的現況Dan 認為目前 AI 在多數面向對國安還不算關鍵，也還不足以讓惡意行為者對電網發動毀滅性的網路攻擊，但一年內就可能改變；病毒學則是推理模型出來後，才開始接近專家等級。
07:19安全與效益的取捨Dan 看不出太大衝突：高風險的專家能力只開放給已知身分的客戶。真正難的是出口管制鬆緊，管得太死可能提高中國入侵台灣的動機。
09:55AI 當武器的樣貌生物武器較可能來自非國家行為者，網路攻擊則兩者都可能；其他還有無人機、協助武器研究，以及靠更好的情勢掌握找出核潛艦與發射位置，動搖第二擊能力。
12:35自願暫停與間諜沒有武力或查核機制撐腰的暫停協議沒意義。Dan 也指出 Leopold 那篇主張搶先超級智慧的論文，忽略了企業間諜與人才依賴；並主張放寬頂尖 AI 研究者的移民限制。
15:11沙漠裡的超大叢集在無人機與晶片上競賽沒問題，但把超級智慧變成武器，對方不會坐視；Dan 拿核武時代的先發制人論調來對照。
17:49互相嚇阻的構想主持人請 Dan 用白話解釋 mutually assured AI malfunction。Dan 說各國會像核嚇阻那樣，因共同的脆弱性而不敢追求壓倒性優勢，並且用間諜與破壞監看對手。
20:41與核、化、生的類比AI 同樣是軍民兩用技術。化學與生物武器的前例顯示，各國會在防止落入恐怖分子手中上協調，但不會停止所有 AI 發展。
22:48給政府的建議不打造超級武器、並盯著別人；CIA 做情報、CYBERCOM 備好攻擊，加上晶片位置、授權制度與最終用途查核。這些大多幾通簡訊或一份文件就能辦到。
25:23算力安全與 DeepSeekDeepSeek 削弱了曼哈頓計畫式的策略；管制擋不了能力，但能擋流氓行為者。Dan 也提到執法人員沒優先查晶片去向。
29:08像核子戰略一樣管理Dan 反駁風險管理等於天真和平主義，主張像核子戰略那樣隨情勢調整，做一些基本措施就能讓風險可控。
30:26評測與 Humanity's Last Exam主持人轉到評測。Dan 說這個基準向全球教授徵題，用來看封閉式學術題目的終點；接下來要靠 agent 任務去衡量開放式能力。
33:34能力的鋸齒狀前緣AI 可能先在數學上勝過人，卻仍做不了訂機票這類事；Dan 認為等 agent 技能到位，大家對 AI 的觀感會大幅轉向。

值得記的話5 句

I think that AI isn't that powerful currently in many respects我認為目前 AI 在許多面向上並沒有那麼強04:58
you need teeth behind an agreement. If you do it voluntarily, you just make yourself less powerful協議要有強制力撐腰。如果只是自願遵守，你只會讓自己變弱12:50
chemical weapons are a poor man's atom bomb化學武器是窮人的原子彈21:44
you can restrict their intent, which is what deterrence does你可以限制對方的意圖，那就是嚇阻在做的事26:30
they still can't fold clothes, they can answer a lot of tough physics problems though它們還是不會摺衣服，卻能回答很多困難的物理題33:49

名詞與人物9 個

Dan Hendrycks: 本集來賓，AI 研究者，Center for AI Safety 的主任。
Center for AI Safety: Dan 領導的機構，關注 AI 風險。
Superintelligence Strategy: Dan 與 Eric Schmidt、Alexandr Wang 等人共同發表的論文。
mutually assured AI malfunction: 仿照核嚇阻提出的嚇阻機制，簡稱 MIM。
Humanity's Last Exam: 向全球教授徵題的封閉式學術基準，Dan 預期成績逼近滿分時，這類題型就走到終點。
MMLU: Dan 先前做的評測資料集之一。
Leopold Aschenbrenner: 去年寫 situational awareness 論文的作者，主張盡量搶先中國取得超級智慧。
CYBERCOM: Dan 建議由它備好攻擊他國資料中心的網路能力。
export controls: 對 AI 晶片的出口管制，Dan 認為重點在掌握晶片位置、防止落入流氓行為者手中。

提到但沒有展開

Dan 提到核武時代初期有一段時間，有人主張先發制人摧毀蘇聯，連平常主張和平的 Bertrand Russell 都這樣說；Dan 認為那個機會之窗也許從來不存在，AI 這邊也不存在。
談出口管制的執行，Dan 說執法人員如果去新加坡查 NVIDIA 那 10% 的晶片流向哪裡，很快就會發現是流到中國。在 Dan 看來，這不代表出口管制沒用，化學製劑與核分裂物質的防擴散都做得到，只是有沒有人在乎。

在 YouTube 看原片 ↗

Center for AI Safety