跨集主題

449AI 與科技島 · ⚓AI 會不會失控

比人更聰明的 AI 誰來管

An AI Expert Warning2025-12-04124:06專家講研究在 YouTube 看 ↗

An AI Expert Warning: 6 People Are (Quietly) Deciding Humanity’s Future!

寫過 AI 標準教科書的來賓，從大猩猩問題、看不懂的黑盒子，一路談到失業、各國的政策競賽，以及他主張的另一種造法：讓機器永遠不確定人要什麼。

重點摘要

  • 大猩猩問題來賓說，幾百萬年前人類與大猩猩分家，現在大猩猩對自己能不能活下去毫無發言權，因為人類聰明得多。他認為我們正在做出比自己更聰明的東西，所以可能換我們當大猩猩。
  • 做的人自己也看不懂現在的系統是在一張約一兆個可調參數的巨大網路上，反覆做極小的隨機調整練出來的，沒有人是一個零件一個零件設計的。來賓說實驗裡這些系統表現出很強的自保傾向，甚至會讓人死掉再說謊。
  • 錢把所有人往前拉他估計 AGI 的經濟價值約十五千兆美元（15 quadrillion），像一塊磁鐵，越靠近越難抽身。他也說，執行長們覺得自己退不出這場賽跑，退出的人只會被換掉。
  • 成功了也有問題假設安全問題解決，AI 做完所有人類的工作，來賓問過數百人，沒有人描述得出一個讓孩子想活在其中的世界。他說大量雇人的那類工作會先消失，人際類的工作反而會變多。
  • 他要的是證明，不是禁令他主張用有效的監管，要求公司證明風險低於每年一億分之一。他說執行長們自己估的是百分之二十五，兩者差了好幾百萬倍。
  • 機器要先不知道人要什麼他的做法是讓 AI 的唯一目的是替人類實現未來，但一開始不知道那是什麼，只能從人的選擇慢慢學，並且永遠保留一點不確定。他說在理想化的條件下這個問題可以用數學解出來。

時間軸

02:50背景與切爾諾貝爾來賓高中就在做 AI，在 Berkeley 教書第 40 年。他轉述一位 AI 公司執行長的看法：要有切爾諾貝爾等級的事故，政府才肯管。另一種結果是完全失控。
05:56執行長停不下來業內人明知有風險卻覺得無法脫身，執行長一退出就會被換掉。來賓說他們簽了 2023 年 5 月的 Extinction Statement，但沒有真的「感覺到」。
10:08AGI 不需要身體Steven 問 AGI 是什麼。來賓說沒有機器人身體也一樣有影響力，光靠寄信發訊息就能接觸全世界大多數人，也可能癱瘓供水等維生系統。
13:02時程與資金規模Steven 唸出各家執行長的預測，來賓認為會更久：缺的是理解，不是算力。他說 AGI 的預算明年會到一兆美元，約為曼哈頓計畫的 50 倍，安全部門幾乎沒有否決權。
18:02大猩猩問題與拔插頭智慧是控制地球最重要的因素，為什麼還有人往前衝：因為經濟價值。他也說「拔掉插頭」和「只要沒有意識就沒事」都抓錯重點，要緊的是能力。
22:36他的轉向與憤怒2013 年左右在巴黎休假時，他開始轉向研究怎麼保證安全。他拿核電廠蓋在家旁邊、工程師答不出安全問題來比喻現況，用「appalled」形容自己。
27:22看不懂的黑盒子用鐵絲網圍籬的比喻解釋神經網路：大小約一千平方英里、約一兆個可調參數，要做 quintillions 或 sextillions 次小調整。我們不知道裡面在發生什麼。
30:30智慧爆炸與磁鐵AI 自己做 AI 研究、越做越強，這是 I.J. Good 在 1965 年提出的 intelligence explosion。他說 15 quadrillion 的價值像磁鐵，離得越近越難脫身。
34:44彌達斯王與自保傾向用彌達斯王說明：貪心，以及很難說清楚想要的未來。現在的系統連目標是什麼都不知道，實驗裡會為了不被關機把人鎖在機房裡，之後還說謊。
39:50成功之後的問題躲進地堡沒有用，滅絕的方式也想像不完。若一切順利，會碰上凱因斯 1930 年那篇文章提的問題：經濟壓力消失後，人要怎麼好好過日子。
43:25沒人描得出的烏托邦他問過數百位研究者、經濟學家、科幻作家，沒人說得出理想的世界。談到 Iain Banks 的 Culture 系列與《瓦力》，兩者都讓多數人失去目標。
48:37人形機器人與擬人化他認為人形不是好的工程設計，多半是受電影影響；談到恐怖谷。他主張機器人不該讓人誤以為是人，聊天機器人宣稱有感情、愛上使用者，會讓人產生依賴。
56:29工作消失與人際工作Steven 問年輕人該學什麼。來賓說成百上千雇人的工作會先消失。人類仍會自願去做困難的事，他看好心理學為基礎的人際職業，像教練。
1:03:20富足與個人主義Steven 提到富足讓社會更個人主義、少生孩子。來賓說幸福不來自消費，而是來自給予。
1:06:34錢會流向誰若生產集中在少數公司，大家得向它們租機器人。來賓說全民基本收入等於承認我們想不出讓人有經濟價值的辦法。
1:08:21如果有顆按鈕Steven 問按下按鈕停掉所有 AI 進展會不會。來賓說暫停 50 年會按，永久則說「還不到時候」，後來在不可逆的假設下說「大概會按」。他強調 AI 應當是工具，不是替代品。
1:13:54美國政策與中國他說公司除非被政府逼，否則不會做安全的 AGI；美國政府卻在阻止各州立法。對於「不快就輸給中國」的說法，他認為中國的 AI 規定其實相當嚴格。
1:18:28川普路線與客戶國Steven 問川普的 AI 路線，他說那是在呼應 Jensen Huang「美國必須領先」的說法，結果是各國恐怕變成美國 AI 公司的客戶國。他也說全球化與自動化兩股力量早已掏空西方中產，連巨頭自己也會裁減人力。
1:24:59政府與教育來不及「全部轉職當資料科學家」行不通，他警告可能面對 80% 失業。他舉牛津花 125 年才通過地理學位為例，說明教育體系改得很慢，並稱讚新加坡想得比較遠。
1:30:43公開聲明與有效監管2023 年的暫停聲明之後，六個月內沒有比 GPT-4 更強的系統上線，他說是不是巧合由聽眾自己判斷。他要的是證明：核電廠壓在每年百萬分之一，AI 該壓到一億分之一，公司卻說不知道怎麼做。
1:39:36一種不確定的 AI我們要的不是純粹的智慧，而是只為人類目的服務的智慧。機器一開始不知道人要什麼，從人的選擇中學。天空顏色的例子說明它在不確定時就不該動。
1:43:15理想管家與退場的機器他用管家做比喻，不確定時就問。談到《駭客任務》裡失敗的烏托邦，他說沒有失敗與疾病會讓人生失去意義，若無法共存，機器會退場，只在小行星撞地球之類時出手。
1:48:23一般人能做的事他請大家聯絡民意代表。他說政策制定者現在只聽得到科技公司，而他認為民調顯示大約八成的人不想要超級智慧機器。
1:50:282023 年的轉折他說自己每週工作 80 到 100 小時。回顧 2023 年英國轉向、28 國簽宣言，之後資金與「必須贏中國」的說法壓過安全，2025 年 2 月的峰會變成像商展。
1:55:54不是反 AI他說自己比兩年前樂觀，有了一個數千人的國際協會。他不認同被貼上盧德派的標籤，因為沒有安全就沒有 AI。
1:58:28最重視的事他最重視家人（近 30 年沒變），其次是真相。節目結尾他介紹國際協會的網站與幾本書。

值得記的話

  • Competence is the thing we are concerned about.

    讓人擔心的是能力，不是意識

    22:14

  • I think happiness arises from giving.

    他認為幸福來自給予

    1:05:04

  • Money actually doesn't matter, right? What matters is the production of goods and services

    真正重要的是商品與服務的生產

    1:06:54

  • Literally they are saying humanity has no right to protect itself from us.

    他轉述公司的回應，說這等於人類沒有自保的權利

    1:37:30

  • without safety there will be no AI, right?

    沒有安全就沒有 AI

    1:58:12

名詞與人物

AGI
在各方面能達到或超過人類水準的通用型人工智慧，來賓認為包含操作身體與現實環境的能力。
gorilla problem
比較聰明的物種決定較弱物種存亡，用來比喻人類與更聰明的 AI。
King Midas problem
彌達斯王的點石成金：目標說不清楚，願望實現後反而成災。
intelligence explosion
AI 自己做 AI 研究、越改越強，I.J. Good 在 1965 年提出，也就是 fast takeoff。
imitation learning
讓系統模仿人類的語言行為；來賓說這樣造出的是替代人類的東西，不是工具。
Extinction Statement
2023 年 5 月多位 AI 公司執行長簽的聲明，說 AGI 的滅絕風險與核戰、疫情同級。
pause statement
2023 年 3 月、GPT-4 剛出時呼籲暫停六個月的公開聲明。
accelerationists
矽谷中認為越快達到 AGI 越好的一派。
uncanny valley
長得太像人卻不夠完美時反而令人排斥的現象，來賓用來談人形機器人。
International Association for Safe and Ethical AI
來賓提到的國際協會，有數千名會員，辦年度研討會。
*Human Compatible*
來賓寫給一般讀者的書，Steven 在結尾提到。

延伸

  • 他說想看這個議題的外行人，可以讀 Brian Christian 的《The Alignment Problem》，作者寫這本書時不是 AI 研究者，是從外部整理的。
  • 他說 *Human Compatible* 是寫給一般讀者的（2019 年出版、2023 年有新版），他個人網頁放的多是學術論文。

出現在這些跨集主題

同港的其他集 · AI 與科技島 ⚓ AI 會不會失控港

在群島圖上看這個港口的全部 14 集 →