跨集主題

512AI 與科技島 · ⚓AI 會不會失控

超級智慧幾年內就來，怎麼辦

ChatGPT Whistleblower2026-07-13120:50專家講研究在 YouTube 看 ↗

ChatGPT Whistleblower: They Offered Me $2m To Keep Quiet, No One Is Ready For What's Coming!

前 OpenAI 研究員為了能公開說話，放棄了兩百萬美元的股權。他談超級智慧的時程、失控與權力集中兩種風險，還有他建議的管制路線。

重點摘要

  • 時程比公司對外講的更緊他目前的中位估計是 2029 年出現超級智慧，也可能提前到 2028，或拖到十年左右。他說自己曾把預測往後調，但最近去 Anthropic 與 OpenAI 聊，對方反而要他改回 2027 或 2028。
  • 兩種風險並存一是 AI 累積夠多真實世界的權力後不再需要人類，而且現在沒有辦法確認它們真的有我們要的價值觀；二是即使能控制，也只是讓少數公司與少數人握有極大的權力。他把前者叫失控，後者叫權力集中。
  • 公司先自動化自己他說各家的順序是先自動化寫程式、再自動化整個研究流程，最後才把 AI 鋪進各行各業。所以大規模失業在他的情境裡要到超級智慧之後的 2028 或 2029 年才出現，現在看不到失業潮不代表安全。
  • 為了說話放棄股權他離開 OpenAI 時拒簽禁止批評公司的離職文件，等於放棄約占淨資產 80% 的股權。事情在網路上鬧大、員工開始質問，公司改了文件，他保住了股權。
  • AI 2040 Plan A 是建議，不是預測2029 年由政府介入，暫停訓練、只留推論，之後在透明、多國多公司並存的條件下慢慢擴張，到 2040 年才放手讓 AI 超過人類。他自己認為最可能發生的是持續競速的 Plan D。
  • 不是註定毀滅他說「出大事」的機率大約 70%，那不一定等於人類滅絕。他看到兩條希望：政府與條約改變誘因，或者公司看到 AI 不對齊的明確證據後自己煞車。

時間軸

02:34使命與時間表他說如果超級智慧幾年內會來，就得準備並設法讓它往好的方向走。他自己的中位估計是 2029 年；他看的是成長速度：Anthropic 一年前年營收約 1 billion 美元，現在約 60 billion，成長 60 倍。
04:20為什麼跟一般人有關他列出失控、權力集中、地緣衝突與失業幾種風險，並指出「唱衰」的反駁說法是近年才冒出來、由受益者推動的，這些擔憂在 AI 產業出現前就有了。
09:33在 OpenAI 的工作與幻滅他在那裡做預測、評估危險能力，短暫待過強化學習團隊；他認為創辦人的說法逐漸變成合理化，真正驅動的是權力誘因。入職時同事說接近自動化研究就會暫停，離開時發現不會了。
14:47離職的原因2024 年離開。他想要更多發表自由，公司變大後像一般科技公司，有公關部門，他寫的情境預測也不能對外公開；公司成倍成長，新人多為高薪而來，談超級智慧的人反而少了。
17:16兩百萬美元的條款離職文件要他承諾不批評公司，不簽就拿不到股權；他和太太商量一兩個月後拒簽。事情傳開、員工在內部質問，公司退讓，Sam Altman 出面說自己不知情，他認為 Altman 多半知道。
19:19自動化自己與縮短的時間表公司先拿 AI 寫程式，再擴及整個研究流程，目標是不再需要人類員工；他稱這也是權力掠奪。他的估計先從 2028 調到 2030，如今公司內部的人卻要他改回 2027 或 2028。
24:06AI 2027 的兩種結局2025 年 4 月發表的情境預測。競速結局裡 AI 取得足夠權力後不再假裝聽話；放緩結局裡對齊問題解決，但美好世界由少數掌權者決定。
26:41AGI 與超級智慧AGI 的定義模糊，他說某種意義上已經達到；超級智慧則是各方面都勝過最強人類。他認為永遠做不到的可能性不大，估計走現在的路會往壞的方向去；他說這件事讓自己常常心情低落。
30:17神經網路怎麼練出來現代 AI 不是工程師寫的程式碼，而是從亂數參數開始，先靠預測下一個字，再用大量程式題做強化學習。參數量從 2020 年約 175 billion 長到現在約 10 trillion。
37:50與預測的落差大方向仍照 AI 2027 在走。比預期更快的是政府介入，包括 Mythos 的出口管制，以及用 Defense Production Act 威脅 Anthropic；另外 Anthropic 從第二名變第一名，他猜是人才與策略。
41:20AI 公司老闆怎麼自我說服Steven 轉述朋友說 CEO 認為滅絕機率不高；他說自己的 70% 指的是 AI 接管之類的大災難，不一定是滅絕。這些人都說服自己「大概沒事，由我來做更好」；Anthropic 做過損及自家利益的事，但他仍主張誰都不該被託付這麼大的權力。
45:18誘因怎麼改Steven 質疑所有誘因都指向繼續跑。他給了兩點希望：政府訂規則、各國簽條約，讓大家都得遵守；或是出現 AI 對齊失敗的明確證據，公司自己停下。
47:56失業突然來、大腦看不透超級智慧定義上能做幾乎所有工作，現在失業不明顯是因為 AI 還不能直接取代人；公司先自動化自己的研究，之後擴散到經濟會像一道浪。神經網路無法像軟體那樣讀程式碼看出決策，可解釋性領域有進展，若成功，失控的情境會少很多。
54:38哪些工作留得住他說這是政治問題而不是技術問題：法規保護的職務（法官）或人們寧可要真人的（保母）也許留得住。過去新工作會冒出來，是因為舊技術只取代一部分；這次連新工作 AI 也能做。
1:00:16AI 2040 與五種方案Plan A 假設 2029 年才立法管制，到 2040 年才有超級智慧，是他的建議而非預測；若等大家都失業才管，已經太晚。Plan S 是全面關停，Plan D 是持續競速；他同情 S 但推薦 A，認為最可能的是 D。
1:07:39孩子與該念什麼他有兩個孩子，覺得孩子成年進職場前，這一切大概就結束了。他給的建議是盡力把未來導向好的方向，並做本身有價值的事；Steven 引了 Geoffrey Hinton 的說法，指更聰明的物種不會被較笨的管住。
1:13:25Plan A：先暫停訓練他說 Ilya 和其他 CEO 的邏輯相同：與其讓別人做，不如自己做。Plan A 假設 2030 年本來要自動化研究，2029 年政府介入，只准推論不准訓練，並讓各國互相查核資料中心。
1:17:03Plan A 的四個目標放慢、透明、多家公司與多個國家並存、可逆。他主張訓練用的資料中心要公開全部做法，認為這對 AI 公司估值不利，但對落後的公司有利，也對人類好。
1:23:30慢速擴張到 2040不爆發智慧爆炸，而是持續蓋資料中心、慢慢取代工作。2031 年約五分之一的認知勞動由 AI 做；公民紅利起初約每人 25,000 美元；他舉測謊機為例，說明科學突破的社會衝擊；2040 年對齊有進展後才放手。
1:32:48一般人的生活與政治權力他描繪 2029 到 2037 年的一般人生活，並指出失業同時會讓人失去政治籌碼；他舉 Department of War 與 Anthropic 的爭議，說明 AI 不該被偷偷塞進政治立場。
1:38:192040 之後像魔法的世界停在人類水準，世界會被機器人與 AI 大幅改造；再往上，會出現看起來像魔法的發展。他建議保留約 99% 的地球，資料中心先放在海上，再談上傳大腦與長生。
1:43:05為什麼寫 Plan AAI 2027 爆紅後，網友要求拿出正面方案。他說政府態度轉變比預期快，過去想禁止各州管制 AI，現在連美國政府都在要 Anthropic 關掉某個 AI。
1:46:16按鈕問題Steven 問他：永遠禁止訓練前沿模型的按鈕按不按？暫時的他會馬上按；永久的他最後說不按，理由是長遠看人類文明本身也不夠穩定，但他表示很掙扎。
1:49:54一般人能做什麼有才能或熱情的人可以直接投入倡議或技術研究；一般人至少多關注、多討論、寫信給議員，投票時問候選人對 AI 的看法。他說核心問題是還沒有人認真看待。
1:52:48孩子與兩難的立場他坦承對生小孩反覆動搖：第一個孩子 2019 年出生，後來他一度跟太太說別再生，最後讓步。Steven 說自己既投資 AI 又擔心；他說自己不在 AI 公司內部，也不抵制 AI，不認為太遲。
1:57:36給大眾的結語別用聽起來像不像科幻來判斷，去看趨勢、認真想可能性；他會把推薦的閱讀清單放在說明欄，Steven 呼籲大家別把頭埋進沙子裡。

值得記的話

  • Sometimes it's good to take a stand on principle.

    有時候為了原則該站出來。他在回答為什麼不拿那兩百萬美元

    19:19

  • I would be incredibly happy if all my predictions turn out to be wrong and AI hits the wall, for example.

    如果我的預測全錯、AI 撞上天花板，我會非常高興

    29:01

  • People sort of believe what they need to believe in order to think that they're good people

    人會相信自己需要相信的事，好讓自己覺得是好人。他在解釋 AI 公司老闆為何自我說服

    42:39

  • if you wait until most people have lost their jobs to regulate the AI companies, that's already too late

    等到多數人都失業才管制 AI 公司，就已經太晚

    1:03:02

  • Stop thinking about what does or doesn't sound like science fiction and just start thinking about like the trends

    別再想這聽起來像不像科幻，去看實際的趨勢

    1:57:51

名詞與人物

AI Futures Project
來賓目前經營的小型非營利組織，主要做 AI 未來走向的預測
AI 2027
他 2025 年 4 月發表的逐月情境預測，有競速與放緩兩種結局
AI 2040 Plan A
他們團隊建議的路線：2029 年由政府暫停訓練、要求透明，到 2040 年才放手讓 AI 超過人類
superintelligence
各方面都勝過最強人類，而且更快更便宜；他和 AGI 區分開來
recursive self-improvement
AI 自己做 AI 研究、自己訓練下一代，造成進展加速
interpretability
拆解神經網路、看出它如何做決定的研究領域，他認為是降低失控風險的一條路
citizen's dividend
他提出的分配機制：人民持有一個向機器人與運算公司收許可費的機構的股份，起初約每人 25,000 美元
Mythos
Anthropic 的一個 Claude 模型，Steven 說公司對外示警，來賓提到它被政府實施出口管制
Department of War
來賓說它拿到 Anthropic 的模型後，想用在國內監控與自主機器人，跟 Anthropic 起了爭執
safety case
部署 AI 前要說明為什麼它會照指示行事、不會出大事的論證；AI 越強越難成立

延伸

  • 來賓在節目裡提到 Plan A 之外還有 Plan S、B、C、D 各自的簡短情境，只講了大意，沒有逐一展開。
  • 他說會把推薦閱讀清單放在節目說明欄，供想進一步了解的人參考。

出現在這些跨集主題

同港的其他集 · AI 與科技島 ⚓ AI 會不會失控港

在群島圖上看這個港口的全部 14 集 →