跨集主題

402AI 與科技島 · ⚓AI 會不會失控AI 與科技島 · ⚓AI 與工作

AI 教父談失控與失業

Godfather of AI2025-06-1690:07專家講研究在 YouTube 看 ↗

Godfather of AI: They Keep Silencing Me But I’m Trying to Warn Them!

AI 教父回顧自己押注神經網路五十年，如今警告壞人濫用、AI 失控和大量失業都在逼近，主張政府得逼企業把資源投入安全研究。

重點摘要

  • 兩種風險要分開看他把風險分成人拿 AI 做壞事，以及 AI 聰明到不再需要人類。後者沒人估得準，他常說 10% 到 20% 的機率會滅絕人類，但強調那是憑感覺。他的朋友 Yann LeCun 認為人類會一直掌控得住，Yudkowsky 則認為只要造出來就一定滅絕，他說兩邊都太極端。
  • 壞人濫用的清單很長他依序談網路攻擊、AI 設計病毒、操弄選舉、演算法造成的同溫層，以及致命自主武器。他最擔心武器那項會讓大國更容易入侵小國。
  • 停不下來，也沒人管得好AI 在醫療、教育、軍事都有用，國家與公司又互相競爭，他不相信會減速。他認為資本主義需要強力規範，歐洲的規範卻把軍事用途排除在外。
  • 腦力勞動會被取代他說一般的腦力工作 AI 會全面接手，一個人加 AI 助理能做過去十個人的事，醫療這類需求幾乎沒有上限的行業例外。他認為貧富差距會拉大，失業是短期內最急迫的威脅，因為人需要目標感。
  • 數位智慧比人腦更會分享同一個模型可以複製多份、各自學習再平均權重，傳遞資訊的速度比人快數十億倍，硬體壞了也能重建。他因此相信模型能看出人沒看過的類比，也認為機器可以有主觀經驗和情緒。
  • 離開 Google 與人生回顧他在 Google 待了約十年，75 歲離開，說主因是想退休，時機則是為了能在會議上自由談安全。他建議別因為旁人說傻就放棄直覺，也後悔年輕時沒多陪家人。

時間軸

02:11神經網路路線早年多數人押符號邏輯，他押「模擬大腦」這條路五十年；好學生因此都往他這裡聚，其中有人後來參與創辦 OpenAI。
04:29晚才看懂風險自動殺人武器的風險一開始就看得到，AI 會比人聰明則是幾年前才意識到；轉折是看清數位智慧在分享知識上遠勝生物腦。
07:17兩種風險他把風險分成人為濫用，和 AI 聰明到不再需要人類。後者沒人估得準，他常說 10% 到 20% 會滅絕人類，但只是憑感覺。
09:39停不下來的原因AI 在醫療、教育、軍事都有用，國家與公司又在互相競爭，所以不會停。歐洲的規範明文排除軍事用途。
12:15網路攻擊與病毒網路攻擊從 2023 到 2024 年增加約 12 倍，AI 還可能自創新攻法；少數人花幾百萬美元就可能設計出病毒。他自己把存款分散在三家銀行。
17:23選舉與同溫層精準的政治廣告需要大量個人資料，他推測美國政府資料被調閱有這個風險。推薦演算法則為了點擊把人推向更極端。
22:18資本主義要配規範公司依法要追求利潤，所以要靠規範讓賺錢的方式對社會有益。他回應「規範會輸給中國」的說法：要不要用傷害社會的方式去競爭。
25:43致命自主武器他最擔心的是大國入侵小國的成本變低：沒有士兵屍袋運回家，國內的反對聲就小得多。連不夠聰明的武器都已經夠嚇人。
28:55超級智慧要除掉人他認為超級智慧若要消滅人類，辦法太多，不值得猜；該研究的是怎麼讓它不想這麼做。他用母親與嬰兒、老虎幼崽來比喻控制問題。
31:52愧疚與責任他不覺得自己有罪，因為四十年前沒人預料進展這麼快，但他覺得現在有責任講出風險，並要政府逼企業投入安全研究。
33:41Ilya 與 OpenAI他認為 Ilya 離開是因為安全顧慮，也認為 Sam Altman 的說法變了。他說不知道 Ilya 的方法是什麼，但投資人給了數十億美元。
39:43工作會被取代一般的腦力勞動會被取代，一個人加 AI 助理做得了過去十個人的事。他舉的例子是醫療這類需求彈性大的行業才不會減少人手。
46:39超級智慧多久會到他猜十到二十年內會有超級智慧，也可能更近或更遠。Steven 分享了自己用 agent 訂飲料的經驗，他則提醒 AI 能改自己的程式。
50:17職涯與情緒他說短期內體力操作最難被取代，水電工是不錯的賭注。他坦承自己還沒在情感上接受這件事，擔心的是下一代。
54:37貧富差距與基本收入AI 把人換掉，獲利集中在供應與使用 AI 的公司，貧富差距會拉大。他認為基本收入只是起步，因為很多人的尊嚴綁在工作上。
56:32數位智慧的優勢數位智慧可以複製，彼此平均權重分享所學，比人類傳遞資訊快數十億倍，硬體壞了也能重建。他也談到模型能看出人沒看過的類比。
1:00:51主觀經驗與情緒他認為多數人對心智的模型是錯的，並用「粉紅色大象」和棱鏡實驗論證聊天機器人也有主觀經驗；機器人也可以有恐懼這類情緒。
1:05:21機器會有意識嗎他一路替換腦細胞的思想實驗說明意識沒有神祕本質；他認為意識是夠複雜、有自我模型的系統湧現出來的，這個詞以後會被淘汰。
1:09:08AI 客服的情緒他說有效的 AI agent 需要像客服一樣會膩、會煩。有了這些認知與行為，就算沒有臉紅流汗，也算有情緒。
1:11:07為何去 Google他為了家人的長期生計需要幾百萬美元，於是和兩位學生把 DNN Research 拍賣給大公司。在 Google 十年，研究蒸餾，晚期轉去研究類比運算。
1:13:55頓悟與離開PaLM 能解釋笑話為什麼好笑，加上看清數位智慧更會分享，讓他轉向 AI 安全。離開是因為 75 歲想退休，也為了能在 MIT 的會議上自由發言。
1:18:37給眾人的話與家世對掌權者，他的答案是高度受監管的資本主義；對一般人，能做的是向政府施壓。Steven 也列舉了他的家族親戚，他補充更正了其中一層輩分。
1:21:14人生回顧他的建議之一是別因為旁人說傻就放棄直覺，除非自己想通它為什麼錯。他後悔年輕時太專注工作，沒有多陪孩子與第二任妻子。
1:24:18樂觀還是悲觀他說自己對結果不可知論：還有機會做出不想取代人類的 AI，所以該投入大量資源。心情好壞會影響他的預測。
1:25:57最大威脅是失業他認為失業是短期內對人類快樂的急迫威脅，因為人需要目標感。Steven 轉述一位大公司 CEO 的私訊：員工從 7,000 多人減到 3,600 人，因為 AI agent 已能處理八成的客服詢問。

值得記的話

  • The whole point of regulations is to stop them doing things to make profit that hurt society.

    規範的意義就是阻止企業用傷害社會的方式賺錢

    23:08

  • If you want to know what life's like when you're not the apex intelligence, ask a chicken.

    想知道自己不再是最聰明的物種是什麼滋味，去問雞

    29:49

  • It's not like I knowingly did something thinking, this might wipe us all out, but I'm going to do it anyway.

    他說自己不是明知可能毀滅人類還硬做

    32:37

  • I'm a materialist through and through and I don't think there's any reason why a machine shouldn't have consciousness.

    他是徹底的唯物論者，看不出機器為何不能有意識

    1:07:34

  • Don't give up on the intuition until you've figured out why it's wrong.

    在想通直覺為什麼錯之前，別放棄它

    1:21:29

名詞與人物

AlexNet
他的兩位學生做出的圖像辨識神經網路，是三人成立公司被收購的起點
DNN Research
他與兩位學生成立的公司，拍賣給大公司後他進了 Google
distillation
他在 Google 做出的方法，把大型神經網路的知識轉進小型網路
Ilya Sutskever
他的學生，GPT-2 與早期 ChatGPT 背後的關鍵人物，後來離開 OpenAI 另創 AI 安全公司
Sam Altman
他說這位 OpenAI 執行長過去談風險的口氣，和現在不一樣
Elon Musk
他肯定其推動電動車與在烏克蘭提供通訊，也批評他的作為；節目播出他談孩子職涯的回答
Yann LeCun
他的朋友，認為人類會一直掌控 AI
Yudkowsky
認為只要有人造出超級智慧就會滅絕人類的那一派
superintelligence
在幾乎所有事上都比人強的 AI，他猜十到二十年內出現
lethal autonomous weapons
自己決定要不要殺人的武器，他最擔心它降低戰爭成本
PaLM
Google 的系統，能解釋笑話為什麼好笑，是他轉向談安全的契機

延伸

  • 他說 Ilya Sutskever 不肯透露讓 AI 變安全的方法，連投資人也未必知道，但仍然投入了數十億美元。
  • Steven 提到同一天上線的另一集 agent 辯論，他在那集讓 agent 上網替攝影棚所有人點飲料，五分鐘後外送就到了。
  • 他晚期在 Google 研究類比運算，想讓大型語言模型用更少的電力運作。

出現在這些跨集主題

同港的其他集 · AI 與科技島 ⚓ AI 會不會失控港

在群島圖上看這個港口的全部 14 集 →

也停靠 · AI 與科技島 ⚓ AI 與工作港

在群島圖上看這個港口的全部 13 集 →