跨集主題

423AI 與科技島 · ⚓AI 會不會失控AI 與科技島 · ⚓AI 與工作

超智慧來臨前，工作與人類的下場

Dr. Roman Yampolskiy2025-09-0487:38專家講研究在 YouTube 看 ↗

The AI Safety Expert: These Are The Only 5 Jobs That Will Remain In 2030! - Dr. Roman Yampolskiy

研究 AI safety 十五年的 Roman Yampolskiy 認為，超智慧既無法控制也無法預測。他談失業、滅絕風險與 Altman，最後談到他深信不疑的模擬理論。

重點摘要

  • 能力暴增，安全爬不動Roman 說他起初相信做得出安全的 AI，越研究越覺得每個環節都解不了。AI 能力是指數甚至超指數成長，安全進度卻是線性或停滯，兩者的差距只會拉大。
  • 沒有 plan B 的失業他預測 2027 年會有 AGI，免費的認知勞動會讓多數職缺失去雇用人的理由；他估計五年後人形機器人也能補上體力勞動，失業率可能到 99%。他說這次沒有「轉行」可談，因為所有工作都會被自動化。
  • 超智慧不是工具他把核武和超智慧切開來講：核武要有人決定使用，超智慧自己會做決定。所以拔插頭、誰先造出來、殺掉某個獨裁者，在他看來都解決不了問題。
  • 黑箱加上不可能的控制Roman 說做出這些模型的人也得靠實驗才知道它能做什麼，他把訓練比喻成培養一株外星植物。他主張長期控制超智慧是不可能的問題，證明這點可以讓更多人別再走「盡快造出來」那條路。
  • 模擬理論與宗教他認為只要 AI 與虛擬實境夠成熟，模擬世界的數量就會遠超真實世界，所以自己幾乎確定身處模擬之中。他也把各大宗教看成同一個「有人創造了這個世界」的故事。
  • 長生與其他話題他把長壽列為僅次於 AI 的第二大問題，認為老化是可治療的疾病；Steven 與他也聊到 Bitcoin、為什麼這類話題不必讓人沮喪，以及他給朋友、同事、伴侶的第一條標準是忠誠。

時間軸

02:13使命與背景Roman 說他的目標是別讓正在打造的超智慧殺死所有人；能力靠加大規模就變強，安全卻沒人知道怎麼做，而預測市場和大公司老闆給的時程只有兩三年。
05:04從撲克機器人談起他十五年前看撲克機器人越來越強，開始做 AI safety，自稱創了這個詞；後來發現每一塊都像碎形，越拆問題越多，修補很快被繞過。
08:17現在到哪了窄 AI、AGI、超智慧的界線很模糊；他說拿現在的系統給二十年前的科學家看，會被當成完整 AGI，數學能力三年內從不會三位數乘法追到能協助證明。
09:492027 與大量失業預測 2027 年有 AGI，電腦上的工作先被自動化，五年內體力勞動也跟上，失業可能到 99%；他也承認技術存在不代表馬上普及。
11:51Podcaster 會被取代嗎他拆解 Steven 的工作：準備、提問、追問、上鏡頭，模型都能做，還能拿過往節目來優化題目與主題。
16:11沒有 plan B司機該怎麼辦？他說以前是叫人轉行，現在連「學寫程式」「學 prompt engineering」都被自動化了，沒有哪一行可以轉。
17:37失業後的錢與意義經濟面他覺得好解，免費勞動會讓基本需求變便宜；難的是多出來的時間做什麼，工作對很多人是意義來源，政府也沒準備好處理 99% 失業。
19:03奇異點與不可預測比我們聰明的系統做什麼，我們本來就預測不了；他用法鬥對主人去上班的不理解來比喻，說連科幻作品都寫不出真正的超智慧。
21:592030 與 20452030 年人形機器人靈活到連水電工都能取代；2045 年是 Kurzweil 預測的奇異點，研發被自動化後，研究者連最新進展都跟不上。
25:37最後一項發明回應「工業革命也創造新工作」：以前的發明只是工具，這次是發明家本身，連倫理與科學研究都會被取代。
27:00為什麼還睡得著Steven 問他睡不睡得好；他說人天生不去想無法改變的壞結局，就像大家都知道會死卻照常生活。
28:51三個常見反駁Steven 念出論文裡的反駁：有更重要的事、AI 只是工具、拔掉插頭就好。Roman 回說超智慧是「元解法」，而病毒和 Bitcoin 網路都關不掉。
31:51無法避免嗎面對「各國都在搶」的說法，他說只要業者明白死了錢也沒用，誘因就會改變；與其造通用超智慧，不如專做窄 AI，例如治療乳癌。
33:43比核武更難管運算成本每年下降，總有一天筆電就能辦到；他認為「監控整個星球」不可行，目標是把時程從五年拖到五十年。
37:00滅絕的路徑他唯一說得出具體路徑的是 AI 輔助製造的新病毒，但重點是超智慧會想出他想不到的方式，就像狗想不出主人怎麼處理牠。
39:37AI 是黑箱做模型的人也得做實驗才知道它會什麼；他說現在已不是工程而是科學，像在養一株外星植物。
42:40OpenAI 與 AltmanRoman 說不少共事過的人覺得 Altman 對他們不夠坦率，離開的人隨便創業就拿到高估值；他認為 Altman 把安全擺在第二，第一是贏下超智慧競賽。
47:02還能做什麼他的辦法是讓有權的人明白這對他們自己也不利；立法難以執法，因為處罰是為人類設計的。他提議公開挑戰，誰能證明超智慧可控就來節目講，並指出各家公司的安全團隊總是成立不久就解散。
52:36同意與抗議他說系統無法解釋、無法預測，人就無法真正「同意」這場實驗；一般人能做的是加入 Pause AI、Stop AI 這類團體，近期沒有太多事可做。
56:25模擬論證Steven 提到能生成可走動、有記憶的 AI 世界；Roman 說只要人類等級的 AI 與擬真虛擬實境都做得出來，模擬數量就遠多於真實世界，所以他幾乎確定我們在其中。
1:00:58宗教與模擬他說各宗教都在講有人創造了這個世界，細節只是地方習俗；從世界中的苦難，他推論創造者聰明但在道德上還有進步空間。
1:07:52長壽他把長壽排在 AI 之後第二重要，說老化是可以治的病；人若活得久，生小孩就不急，並談到 Steven 帶出的 longevity escape velocity。
1:12:04錢與 Bitcoin世界若變得富足，什麼才是稀缺資源？他認為 Bitcoin 是唯一無法憑空多造的東西，並說自己是投資人，也提到量子運算的疑慮。
1:14:33在模擬裡怎麼活Steven 提到 Robin Hanson 論文裡「在模擬中要做有趣的人」；Roman 從這裡再談到宗教的共通點，主張各教差別只在飲食禁忌這類地方習俗。
1:17:02談這些會不會讓人沮喪Steven 說這類話題讓他不太舒服；Roman 說人本來就擅長只顧自己能改變的事，也談到反對者的反應通常是先不了解，接觸多了就會轉向。
1:21:29收尾Roman 的結語是保持主導權、只造對人類有益的東西；他說現有技術的潛力還沒被用完，並以前一位來賓留下的問題回答，朋友、同事、伴侶最重要的是忠誠。

值得記的話

  • while progress in AI capabilities is exponential, or maybe even hyper-exponential, progress in AI safety is linear or constant.

    AI 能力是指數甚至超指數成長，安全卻只是線性或不動

    07:00

  • There is not a job which cannot be automated. That never happened before.

    沒有哪一種工作不能被自動化，這是過去從未發生的事

    26:23

  • Whereas superintelligence is not a tool, it's an agent.

    超智慧不是工具，而是會自己決策的行動者

    34:49

  • We are creating this artifact, growing it. It's like an alien plant.

    我們在造一個東西並且培養它，像一株外星植物

    41:02

  • Once we establish something is impossible, fewer people will waste their time claiming they can do it and looking for money.

    一旦證明某件事不可能，就會少一些人浪費時間宣稱做得到、四處募資

    51:26

名詞與人物

superintelligence
Roman 的定義：在所有領域都比所有人類更強的系統
AGI
能跨領域運作的 AI；他說以現在的系統看，已算一個弱版本
narrow AI
只在單一領域強的系統，例如 protein folding；他建議多做這類而非通用超智慧
singularity
研發被自動化、進展快到人類看不懂也預測不了的那個時間點
light cone
從某一點出發、光能到達的整個範圍；Roman 說有人想掌控的就是這個
Pause AI / Stop AI
Roman 提到的兩個抗議與倡議團體，會封鎖 OpenAI 的辦公室
Worldcoin
Steven 提到的 Altman 另一間公司，Roman 說它也蒐集生物特徵
Ray Kurzweil
預測 2045 年是奇異點的人
Robin Hanson
寫過「在模擬裡該怎麼活」論文的人
longevity escape velocity
每活一年就靠醫療多延長兩年壽命，因此永遠不會老死的門檻
simulation hypothesis
我們活在更高等文明所跑的模擬裡的假說，Roman 說他的信心接近確定

延伸

  • 談長壽時他推測，人類基因組裡可能有一個最多讓人活到約 120 歲的回春機制，AI 可能幫忙把這個上限調高。
  • Steven 問他自己怎麼準備，他說他在想的是「一百萬年後才回收」的投資策略，因為如果相信能活很久，就該這樣規劃。

出現在這些跨集主題

同港的其他集 · AI 與科技島 ⚓ AI 會不會失控港

在群島圖上看這個港口的全部 14 集 →

也停靠 · AI 與科技島 ⚓ AI 與工作港

在群島圖上看這個港口的全部 13 集 →