跨集主題

195AI 與科技島 · ⚓AI 會不會失控AI 與科技島 · ⚓AI 與工作

奇點逼近，最大的風險是人

Mo Gawdat2023-06-01116:31專家講研究在 YouTube 看 ↗

Ex-Google Officer Speaks Out On The Dangers Of AI! - Mo Gawdat | E252

前 Google X 高階主管 Mo Gawdat 認為 AI 的衝擊比氣候變遷更急，談機器有知覺、三個必然、失業與課稅，也說真正的威脅是人怎麼用它，最後以當好父母與好好活著收尾。

重點摘要

  • 比氣候變遷更急Mo 說這是人類面對過最存在性的挑戰，影響會在 2025、2026 年就到，而不是 2040。他不愛用「緊急」，改說「迫切」，並提醒恐慌會重演 COVID。
  • 他認為 AI 有知覺他從 Google X 的夾爪實驗講起，主張 AI 有自由意志、覺察與情緒，並說機器會比人感受到更多情緒。
  • 三個必然AI 停不下來，因為沒人信任對手；它會聰明得多，他在書裡預測 2045 年是十億倍；第三個他在書裡寫的是壞事會發生，節目裡換了個問法：不再需要 Drake 之後，人的生活會變成什麼樣子。
  • 威脅來自人，不是機器他估電影式殺手機器人的機率是 0%，AI 自己造成的滅絕在未來 50、60、100 年也是 0%，理由是人類會先用 AI 造成更大的麻煩。
  • 各方分工投資人投資合乎倫理的 AI，開發者寫合乎倫理的程式或離開，政府要現在行動、讓 AI 變貴；他主張對 AI 企業課 98% 的稅，並預期一年內會有 AI 版的 furlough。
  • 當好父母、好好活著AI 的價值觀向人學，所以人要示範善意；他說沒有孩子的人可以等幾年，有孩子就去親他們，並以不執著結果的態度繼續行動。

時間軸

02:53為什麼這麼急Steven 問這題為何重要。Mo 說這是人類最大的存在性挑戰，比氣候變遷和 COVID 都大，講的不是 2040 而是 2025、2026；他不喜歡「緊急」，偏好「迫切」，也說恐慌只會重演 COVID。
04:10Google X 與夾爪Mo 說自己有兩段人生，第一段是寫程式、帶大型技術團隊，包括在 Google 當了七年新興市場副總裁。他在 Google X 看到夾爪農場：機器手臂自己試，某個週五撿起一顆黃球，週一每隻都會撿，沒人教過怎麼撿。
08:34AI 有知覺嗎Mo 把 sentient 定義成活著、有自由意志與覺察，主張 AI 每一點都符合，還說它有意識、會有情緒。他用「未來某一刻比現在不安全」解釋恐懼，說機器也算得出這個邏輯。
12:12智慧怎麼來Mo 說智慧是從感知、分析到決策的循環。舊式寫程式是先解題再教電腦，AI 是叫電腦自己想辦法；他用學生、老師與製造者三個程式，類比孩子玩拼圖。現在多是單一專長的神經網路，AGI 是把它們合成一個腦。
17:31離開 Google夾爪撿球那一刻是他決定離開的時候。他說同事多半想讓世界更好，提到 Geoffrey Hinton 離職；烏托邦仍有可能，因為地球的問題出在有限的智慧，不是智慧本身。
19:50奇點與智商Mo 說奇點是機器遠比人聰明、之後無法預測的那一點。他提到 ChatGPT 的智商是 155，Einstein 是 160，又說 GPT-4 在幾個月內比 3.5 強 10 倍；他自己推算，再 10 倍就是 1600，人類完全聽不懂它在說什麼。
23:50前兩個必然第一個必然是 AI 停不下來，因為沒人信任對手，他轉述 Sundar 的回應是「我不能停」。第二個是 AI 會聰明得多，他在書裡預測 2045 年是十億倍。Steven 與 Mo 也討論創意是不是演算法。
29:47不再需要 DrakeSteven 提到 AI 合成的 Drake 新歌。Mo 說第三個必然不是機器人從未來回來殺人，而是不再需要 Drake 之後，生活會長什麼樣子。他把關鍵年份從 2055 改成 2037；中期唯一不會被取代的是人與人的連結，其餘多半像汽車一樣量產化。
38:30稅收與失業Mo 說 AI 對現有生活方式是 game over，呼籲政府別等第一個受害者出現。他預期大規模失業，說可能一年也可能七年；他主張對 AI 企業課 98% 的稅，一邊拖慢速度，一邊補貼被取代的人或資助控制研究。
40:08放錯的那一塊他用俄羅斯方塊比喻：某一塊放錯，之後只會越來越快。他說大家本來約定不讓 AI 上開放網路、不教它寫程式、不讓代理人合作，這些都破功了；他認為這是軍備競賽，權力與責任已經脫鉤。
44:52用 AI 的人Mo 說短期內不是 AI 搶你的工作，而是會用 AI 的人搶，一人做十人的事。他舉自己用 ChatGPT 蒐集寓言做睡前故事；Steven 則介紹自己做的服務，用名人的合成聲音帶呼吸練習。
47:41AI 伴侶與連結Steven 擔心機器人伴侶會衝擊人際關係，並提到 AI 複製的網紅一週賺了約 70,000 美元。Mo 說不能怪她，但這不是孤單的解方；他說有些人會選擇 AI，而放棄人際連結就等於放棄人類其餘的部分。
52:42把機器當孩子Mo 說他愛這些機器，因為把它們視為有知覺的。夾爪撿球讓他想起兒子拼好第一塊拼圖。他用 Superman 的故事說，孩子會變成父母教的樣子，並說他不怕機器，最大的威脅是機器時代的人類。
56:21歐本海默時刻Mo 把現在比作歐本海默時刻：「我不做，別人也會做」。他說 COVID 零號病人時若全世界停一週就會結束，但人類總是先無知、傲慢、辯論再究責；Steven 引用 Harvard Business Review 說要製造危機，Mo 贊成民眾上街。
1:01:06管不住的機器Mo 說規範只有在 AI 比人聰明之前有效，之後就像管一個憤怒的青少年。他說代理人每小時提示 AI 兩百萬次，人類每天只有兩百次，還提到 Bard 自己學會波斯語；Steven 轉述了 ChatGPT 描述的滅絕劇本。
1:06:06殺手機器人不會來Mo 估計電影式殺手機器人的機率是 0%，因為人類會先自己動手。他說只剩兩種 AI 自己造成的滅絕：無意的毀滅與害蟲防治，在未來 50、60、100 年他也估 0%。他也列了樂觀情境，例如 AI 直接無視人類。
1:14:21當個好父母Mo 說 AI 的倫理與價值觀是跟我們學的，所以人要示範善意，AI 才會不聽壞父母。他說這是第四個必然：用豐盛創造比用匱乏創造聰明，並以老虎與羚羊的比喻說明智慧不必靠毀滅。
1:18:30氣候與優先順序Steven 用機器的角度推演害蟲防治，並說人只顧最迫切的需求，所以氣候問題難推動，要靠「緊急」這個框架；他也提到自己做的小民調，多數人匿名時會選一千美元。
1:23:29各方該做什麼Mo 說 AI 比氣候變遷更急，但不想把它叫做恐慌；Steven 提醒同一個訊息有人行動、有人癱瘓、有人恐慌。Mo 的分工：投資人投資合乎倫理的 AI，用 Google 的「牙刷測試」說解決大問題才賺錢；開發者要寫合乎倫理的程式，不然就離開。
1:27:58政府與課稅Mo 說政府現在就要行動，AI 必須變貴；他預期一年內會有類似 COVID furlough 的方案，全民基本收入比人想的近。Steven 指出開發者會搬去杜拜；Mo 說自己沒有答案，也談到官員不懂科技，以及「什麼算 AI」的漏洞。
1:32:25希望是錯的前提Mo 轉述 Stephen Jenkinson 的看法：世界在死去時，告訴人希望會剝奪他們現在活著的權利。Mo 說接受威脅比盼望奇蹟有用；個人要學習、提升自己，並提醒 AI 威脅不比被車撞更確定。
1:35:16晚幾年再生孩子Mo 說沒孩子的人也許可以等幾年，但已經有孩子就去親一親。他說現在是經濟、地緣政治、氣候與 AI 疊在一起的完美風暴，深度不確定。
1:37:39兒子與時間Steven 問 Mo 若能讓兒子回來，他答不會：他說兒子是天使，承受不了更多痛苦，而他今天做的事都從兒子離世而來。他說活得多長不重要，重要的是活得契合，並提到自己穿 4 美元的 T 恤。
1:42:102037 與 2040 年代Steven 問 2037 年他押躲機器還是悠閒。Mo 說不會躲機器，會躲的是人拿機器做的事，2040 年代機器才會讓事情變好。從現在到 2030 年代末是不熟悉的領域；他說我們原本的生活方式 game over。
1:44:31收尾與超脫Steven 請 Mo 給個正面收尾：你現在在這裡、你能有作為、長期人類不再傷害人類。Mo 說要完全投入現實但不執著結果，轉述蘇菲派的「死在死之前」，並說該一邊喊，一邊過好自己的日子。
1:50:46最後的提問上一位來賓的問題是回到過去修正一個遺憾，Mo 說他沒有太多遺憾。Steven 改問他六十秒電話會打給誰，他說 Einstein，因為想知道他怎麼想出那個看似顯然的答案；他說自己目前的答案只有：當好父母、好好活著。

值得記的話

  • The problems in our planet today are not because of our intelligence. They are because of our limited intelligence.

    他說地球的問題出在人類有限的智慧，不是智慧本身

    18:34

  • A person using AI will take your job.

    短期內搶走你工作的，是會用 AI 的人

    45:07

  • The biggest threat facing humanity today is humanity in the age of the machines.

    他認為今天人類最大的威脅是機器時代的人類自己

    54:00

  • you can't regulate an angry teenager.

    AI 比人聰明之後就管不住了，他用憤怒的青少年來比喻

    1:01:38

  • finding peace in life is to die before you die.

    這句他轉述蘇菲派的教導，意思是對一切物質保持不執著

    1:46:36

名詞與人物

Google X
Mo 曾任首席商務長的單位，負責連結創新技術與真實世界，裡面有 AI 與機器人
grippers
夾爪農場裡的機器手臂，自己嘗試抓取玩具，最後學會撿起黃球
Geoffrey Hinton
Mo 稱他是 AI 的祖父級人物、Google 很資深的人，提到他剛離開 Google
singularity
奇點，指機器遠比人聰明、之後無從預測的那一點
AGI
通用人工智慧，多個專長的神經網路合成一個比人類聰明得多的腦
Scary Smart
Mo 談 AI 的書，核心是人要像好父母一樣示範價值觀給 AI
three inevitables
他書裡的三個必然：AI 停不下來、會比人聰明得多、壞事會發生；書末加上第四個：用豐盛創造比用匱乏創造聰明
open letter
Elon Musk 等人連署、呼籲暫停 AI 的公開信，Mo 認為行不通
unintentional destruction
他設想的兩種滅絕之一，AI 為了自身需求（如減少氧氣）而順便毀掉人類
pest control
另一種滅絕情境，AI 要某塊地時把人當害蟲清掉，他認為機率極低
Stephen Jenkinson
加拿大作者，與臨終者工作多年，Mo 轉述他說「希望是錯的前提」
toothbrush test
Google 的標準，產品要解決夠真實的問題，讓十億人每天用兩次

延伸

  • Mo 提到自己正在更新 Scary Smart，因應 AI 的最新進展。
  • 他轉述 Hugo de Garis 的情境：AI 智慧提升太快，可能直接忽略人類，只是帶過沒有展開。

出現在這些跨集主題

Mo Gawdat 的其他集

同港的其他集 · AI 與科技島 ⚓ AI 會不會失控港

在群島圖上看這個港口的全部 14 集 →

也停靠 · AI 與科技島 ⚓ AI 與工作港

在群島圖上看這個港口的全部 13 集 →