跨集主題

222AI 與科技島 · ⚓AI 會不會失控

Suleyman：AI 必須被遏制

Mustafa Suleyman2023-09-04106:05專家講研究在 YouTube 看 ↗

CEO Of Microsoft AI: AI Is Becoming More Dangerous And Threatening! - Mustafa Suleyman

DeepMind 創辦人 Suleyman 談他的書《The Coming Wave》。從 AI 的規模成長聊到生物風險、國際競爭與監管，主軸是「遏制」為什麼難，又為什麼非做不可。

重點摘要

  • 遏制難，但他說必須做到Suleyman 承認歷史上很少有科技被真正擋下，但他說自己書裡寫的是遏制「must」可能，不是「is」可能。他把遏制定義成限制少數人取得足以造成大規模傷害的工具，並說不能等災難發生才行動。
  • AI 規模每年放大 10 倍他說 2013 年 DeepMind 的 Atari 模型用了 2 petaflops，Inflection 現在最大的模型用 10 billion petaflops。他說過去十年模型規模每年成長 10 倍，語言能力是他事前最沒料到的部分。
  • 同一種技術，好壞兩用他說 AI 既能在 X 光片找腫瘤，也能在戰場鎖定目標，商業誘因會推著它擴散。生物方面，他最擔心的是有人實驗更易傳播或更致命的合成病原體，因此主張限制運算資源、模型與相關物質的取得。
  • 法規必要但不夠他說他在和英國與美國政府合作，也同意法規是必要的，但擬法的人還不夠懂細節，單靠法規擋不住競賽心態。他提出需要一個專門負責穩定的全球機構，說是未來 20 年要發明的東西。
  • 靠國家力量也要靠誘因設計Steven 一再追問誘因都往不遏制的方向走。Suleyman 回答，過去只有慘烈災難或互相保證毀滅才逼出共識，所以要把能碰到存在級威脅技術的行為者壓到最少。
  • 成功與失敗各長什麼樣他說成功是智慧普及到數億甚至數十億人，能源與糧食成本趨近零，三十年內走向 radical abundance。失敗則是權力大量擴散，一小群想傷害別人的人也能拿到讓世界失穩的工具。

時間軸

02:09開場的心情Steven 問他對這一波 AI 的感受。他說以前是 petrified，想得越多，越覺得這條路無可避免，所以要大家一起引導它。AI 長成什麼形態、歸誰所有、怎麼治理，是未來十年要決定的事。
04:48DeepMind 的早期驚訝他 2010 年創辦 DeepMind。AI 只看畫面像素就學會玩 Atari，還找出辦公室裡沒人注意到的策略。更早他還看過模型把手寫數字 7 從黑畫面中浮現出來。
09:16沒料到的是語言影像和聲音的生成在他意料之中，真正意外的是同樣方法能用在語言上。他以每年放大 10 倍的規模成長，說明為什麼 AI 現在會像在跟人聊天。
12:52悲觀厭惡陷阱Steven 說自己的害怕是很邏輯的那種。他解釋書裡的「pessimism aversion trap」：多數人面對這波浪潮的反應是迴避悲觀、期待一切順利，菁英圈裡因此少有人談難談的事。
16:06科技為什麼擋不住他說表面上遏制不可行，但人類曾禁掉 CFC、化學與生物武器、致盲雷射。AI 不同在於同一套技術兩用，商業誘因會推動擴散，所以民族國家得快速更新自己。
19:352050 年的樣子他說 AI 用起來會很像另一個人，2050 年一定有機器人，也會有新的生物性存在。Steven 提到 Elon Musk 說自己活在「懸置懷疑」裡；他把智慧比成新一種資本，說不能讓人類被擠下主導物種的位置。
23:50機器人與合成生物他預期未來 30 年會有人形機器人，並說基因定序成本已降到約第一個基因體的百萬分之一。最壞的情境是合成病原體，所以要限制運算、模型與物質的取得，並採「預防原則」。
28:51競賽邏輯與擴散Steven 擔心美國放慢會讓對手搶先。他稱這是 race condition，會變成自我實現，主張合作。他以核不擴散為例，也說在房間裡下載到有害 AI 工具，五年內某個時間點會成真。
33:00人類優先，與新物種為何在乎我他說自己是 humanist，要把人類放第一。Steven 以愛犬和猩猩為喻，問比人聰明百倍的智慧為何要在乎人。他回答要看怎麼設計，遏制有時就是說「不」。
40:18AlphaGo 第 37 手Steven 說這一手讓他對「像訓練狗一樣訓練 AI」失去信心。Suleyman 說我們就是要它發現新策略與新療法，但這份創造力也讓人擔心它做出人類不想要的事。
43:13為何還要往前跑Steven 問他明知風險還在建公司。他說不能放棄，要誠實面對互相衝突的事實，不戴眼罩也不一味樂觀。他寫書就是要別人來證明他錯。
46:17量子電腦與便宜的能源他把量子電腦說成全新的運算架構，並說未來會有大量便宜的小型感測裝置。他預期電池儲能解決後，20 到 30 年內能源會非常便宜，食物、飲水與藥物成本也跟著降。
51:12人類超越論者他解釋 transhumanism 是相信人能離開生物載體、上傳到矽基的想法。他說沒看到證據能取出一個人的本質，神經科學也不支持身心二元，冷凍保存大腦的做法他自己覺得很荒謬。
54:03馴得了比自己大的東西嗎Steven 以巨大的 rottweiler 為喻。他回說人類曾馴服猩猩、老虎、鱷魚、病原體與核武，現在是史上最和平的時刻，靠的是創意、妥協與更謙遜的治理語氣。
57:02詐騙、深偽與防禦面對仿聲詐騙，他說懷疑心會更重要，銀行的一次性密碼就是為此而生，往後會有三到四重驗證。防禦要跟攻擊同速進化，他也提到人加 AI 目前仍表現最好。
1:03:29為何自己下場做他說最好的示範是在實作中打造安全、可遏制的 AI，袖手旁觀只會把位置讓給只追求利潤的人。親手試過會減少恐懼，他短期內不擔心存在級傷害，長期則難說。
1:05:53法規不夠Steven 提到 Sunak、歐盟 AI Act 與 Biden。他說法規必要但不夠，缺的是真正動手做的人。短視是處處皆有的問題，缺一個專責穩定的全球機構。
1:12:01要災難才有共識他坦言過去只有慘烈災難或互相保證毀滅，才逼出極端妥協。核武當年只有九個國家，談得攏；能拿到 AI 全部力量的會遠多於九個，所以要把能碰到存在級威脅技術的行為者減到最少。
1:15:11遏制清單：卡點與稅Steven 念書中的幾個重點。他說 choke point 是供應鏈上能節流的位置，如網路實體線路與 GPU 晶片。課稅能減速，但要國際協調，短期人才仍集中在大城市。
1:19:28誘因、疫情與自主武器Steven 認為所有誘因都指向不遏制。他說不要等災難，並以新冠起源的可能性為例，主張停掉功能增益研究。他也說自主性是不該追求的能力，尤其是帶致命武力的武器。
1:26:55「必須」不是「會」Steven 質疑他怎麼可能相信遏制行得通。他說自己書裡寫的是「must」，他幾乎所有時間都花在這件事上，公司也採公益公司（public benefit corporation）的結構。
1:29:48沉重與解脫被問是否難過，他說是，每天都是。他把責任當成特權，說這件事既耗盡又令人振奮；ChatGPT 之後的半年他有些解脫，因為這不再只是少數人在想的事。
1:33:35元宇宙已經在這裡Steven 念出書的最後一頁。他說元宇宙被誤解成遙遠的虛擬世界，其實就是與現實並行的數位空間，像社群上的對話、YouTube 影片與這集 podcast。
1:35:48給孩子與個人的建議被問會對孩子說什麼，他說知識就是力量，害怕時別轉頭。個人能做的是讀、聽、用工具、了解法規現況、找倡議團體，並把這件事帶進日常聊天。
1:37:34成功與失敗的樣子成功是史上最有生產力、最以能力論高下的時刻，能源與糧食成本趨近零。他不認為會以 UBI 的形式出現，而是降低基本物資成本。失敗則是權力無節制擴散。
1:42:17結尾提問上一位來賓留的問題是最神聖的地方。他答童年在英國湖區一座湖上坐小艇，那裡很平靜，之後沒再回去。Steven 稱讚這本書平衡且好讀。

值得記的話

  • we have to step back from that precipice

    他說要從懸崖邊退一步，因為遏制有時就是說不

    38:59

  • this is the most peaceful moment in the history of our species

    他說這是人類史上最和平的時刻，用來反駁遏制不可能

    55:26

  • what reduces fear is deep understanding

    降低恐懼靠的是深入了解

    1:04:35

  • it takes a catastrophe to trigger the need for alignment

    要有災難才會逼出協調的需求

    1:13:05

  • the metaverse is already here

    元宇宙其實已經在這裡

    1:34:43

名詞與人物

DeepMind
他 2010 年創辦的 AI 公司，Atari 學習等早期成果出自這裡。
Inflection AI
他口中的「新公司」，做的是名叫 Pi 的聊天 AI。
The Coming Wave
他的書，Steven 逐章引用；第一章說遏制不可能，最後一章說遏制必須可能。
Containment
遏制，指限制少數人取得足以造成大規模傷害的技術，是整集的主軸。
Pessimism aversion trap
面對可怕的前景時，人們本能地避開悲觀、只談樂觀，導致該談的事沒人談。
Omni-use
同一套核心技術可用於好壞不同用途，如找腫瘤與鎖定戰場目標。
Precautionary principle
預防原則，先確認無害再往前，他說科技史上從未這樣做過。
Race condition
「我不做別人就會做」的競賽邏輯，他說會變成自我實現的預言。
Choke point
供應鏈上能限制取得的位置，他舉的是網路實體線路與 GPU 晶片。
Move 37
AlphaGo 對弈中被解說員視為失誤、事後證明絕妙的一手，Steven 用來說明 AI 的不可預測。
Transhumanism
人類超越論，相信人能脫離生物載體，上傳到電腦上繼續存在。
Public benefit corporation
公益公司，法律上要求在獲利與對外部的影響之間取得平衡，他說自己的公司採這種結構。

延伸

  • 他提出的「global technology stability function」，類似聯合國安理會加世貿組織的專責機構，說是未來 20 年要發明的治理缺口，這集只談了概念。
  • Steven 提到書裡的十個遏制重點，這集只談到稽核、卡點與課稅，其餘沒有展開。
  • 他反對具致命武力的自主武器與無人監督的自我改進 AI，但沒有說明具體的規範做法。

出現在這些跨集主題

同港的其他集 · AI 與科技島 ⚓ AI 會不會失控港

在群島圖上看這個港口的全部 14 集 →