跨集主題

214AI 與科技島 · ⚓AI 會不會失控

AI 風險、假訊息與不說謊

Sam Harris2023-08-07110:42專家講研究在 YouTube 看 ↗

WARNING: ChatGPT Could Be The Start Of The End! Sam Harris

Sam Harris 先談超人類 AI 的對齊問題與近期假訊息的衝擊，再談 AI 成功之後的工作與意義，最後講他為什麼決定不說謊，以及他想在哪裡走完人生。

重點摘要

  • 兩個假設就夠了Sam 認為只要接受兩件事，就得接受終將出現超越人類的 AGI：智慧不一定要靠肉做的大腦，而且人類會一直做下去。他特地說，這不需要假設摩爾定律或指數成長。
  • 較笨的一方有風險他拿狗與人類的關係打比方，說智慧差距大到較弱的一方根本看不懂對方在做什麼。他也說演化只把我們編成生存與繁衍，我們卻做了一大堆演化沒設計的事，所以不能指望被造出來的東西自己乖乖對齊。
  • 沒有留下「放出盒子」的決定點他原本以為 AI 會先關在與網路隔絕的環境裡，由實驗室決定要不要放出來。他說現在這些系統已經接上網路、有幾百萬人在用，也已經有 API。
  • 更近的麻煩是假訊息他推測一到兩年內、大約 GPT-5 那一代，網路上大部分內容可能是假的，可能得對網際網路「宣告破產」。他認為 Twitter 這類平台已經讓社會更難對現實有共識。
  • AI 成功之後的工作就算一切順利，他認為這項技術長期會取代工作，而不是創造更好的新工作，所以需要新的經濟假設與倫理，UBI 是其中一種解法。
  • 決定不說謊他說自己做過槓桿最高的改變，就是決定不再說謊，連善意的小謊都不說，並舉出納粹上門找人這類極端情境當例外。

時間軸

02:07六年後還樂觀嗎Steven 問六年前那場 TED 演講，Sam 說自己不樂觀，擔心兩類問題：近期人類怎麼用 AI 放大假訊息，以及長期的 AGI 對齊。
04:46兩個基本假設智慧不依賴載體，加上人類會持續前進，就會走到超越人類的智慧；他說停下來的唯一理由是戰爭、疫情、小行星這類災難。
06:35狗與演化的類比較笨的一方對較聰明的一方有結構性的盲點；狗看不到人類在做什麼，演化也看不到我們後來做的事，被造出來的東西同樣沒有理由保持對齊。
13:21外星來訊與百萬倍速度引用 Stuart Russell 的外星訊息類比，再舉十個思考速度快一百萬倍的聰明人：我們隔兩週聽一次他們的進度，他們已經過了兩萬年。
17:20更聰明就更有道德嗎他說有人假設智慧越高越有倫理，他押另一邊：不對齊的設計比對齊的多；而且我們不會經過人類水準的 AGI，一出現就已經是超人類。
23:09已經放出盒子了業界原本想像的隔離網路、先確認安全再放出去，這個時刻沒有發生；系統已經在外面運作，他也說關掉網路的經濟成本難以想像。
28:08假訊息與破壞的門檻他擔心在 AGI 之前，窄型 AI 就先讓生活難以為繼：一個青少年幾分鐘就能產出上千篇偽造的期刊論文，整部假紀錄片也能一鍵生成；網路攻擊與合成生物學也讓一個人造成的破壞越來越大，核彈需要團隊與國家資源，這類科技卻在被民主化。
34:07刪掉 TwitterSam 說這十年發生在他身上的壞事，幾乎都跟 Twitter 有關，刪號之後像離開一段壞關係；Steven 補充自己近幾個月的動態牆。
39:19健康社群的條件Sam 認為匿名與免費可能是壞事，但說健康的平台未必會受歡迎；讓它受歡迎的東西也讓它有毒。
42:40不再即時反應沒有地方立刻發表看法之後，他得等到下次錄音才決定值不值得談，多半撐不過幾天；他說這讓他鬆了一口氣，也不太想回去。
46:16來源比內容重要他想像的未來是影像必須靠可信的來源與驗證機制才被採信，否則一律先當成假的，也就是「認識論上的破產」。
49:10核戰誤判的老風險舊雷達系統出錯、蘇聯潛艦指揮官憑直覺判斷是誤報；他問，如果這類判斷自動化，系統有沒有那種常識，再疊上假影片就更可怕。
51:15選舉與疫情的教訓他擔心十八個月後的總統大選能不能被多數人承認；談到新冠是一次失敗的預演，機構需要重新贏得信任。
57:07為什麼停不下來抗癌、抗阿茲海默的可能性太大，而且智慧是守護你所愛一切的東西，所以沒有煞車可踩。
58:24什麼叫 AGI他用解決問題與做決定的能力來定義，並以 AlphaZero 說明系統如何從單一任務走向通用；他看不到任何神經科學上支持「智慧依賴載體」的論據。
1:02:40Elon 的故事與人文Steven 轉述一次訪談裡 Elon 被問到如何跟孩子談意義；Sam 的回應是人文會變成核心，因為我們在乎對方是不是有意識的人的事最難被取代。
1:10:41成功情境下的失業假設一切順利，他認為這次不同於過去的科技，需要新的經濟假設；先被取代的反而是高薪高認知的工作。
1:15:11沒有工作人會痛苦嗎Steven 提出人天生需要目的；Sam 說自己在房間裡盯著牆待過一個月仍然快樂，人會找到新的意義與規範。
1:18:04運氣與財富分配他說現在運氣差異決定一切，有人餓死是政治問題不是稀缺問題；如果 AI 的財富不分出去，他預期會有革命。
1:21:12按鈕問題Steven 問他會不會按下暫停鍵；Sam 說會暫停到我們能搞懂對齊問題為止，並認為解決核戰與人造疫情不需要超人類智慧。
1:27:32如何改變想法Steven 說自己十八歲時信基督教，問怎麼改變自己的想法；Sam 說不快樂常來自與別人的關係，他最大的改變是決定不說謊。
1:33:00信任誰就信誰的話Steven 談人更容易相信「自己人」說的話；Sam 說這是缺陷不是功能，要用後設認知把訊息和說話的人分開。
1:34:34說謊毀掉什麼他說名人的失控常從說謊開始，講到史丹佛一門教人不說白謊的研討課，以及妻子目睹朋友說謊後信任默默流失的例子。
1:38:46誠實是面鏡子不能再用白謊脫身，就得面對自己真正的理由；他用拒絕別人示好的例子說明，同時強調仍可以有善意與分寸。
1:41:21想在哪裡死去回答上一位來賓留的問題：他談迷幻藥研究的復興、需要像古希臘秘儀那樣的儀式，以及安寧照護的場所；他自己想看著天空與海。
1:45:37Steven 的信仰轉變Steven 道謝，說 Sam 讓他離開宗教時沒有一無所有，而是找到自己的靈性與不再怕死。

值得記的話

  • my intuition is that there is something inherently dangerous for the Dumber party in that relationship

    他的直覺是：在這種關係裡，比較笨的那一方本身就有危險

    06:35

  • we're way past that right we've built this stuff already in the wild it's already connected to the internet

    我們早就過了那個階段，這些東西已經在外面，已經連上網路

    23:41

  • I worry we're just going to have to declare bankruptcy with respect to the internet

    他擔心我們最後得對網際網路宣告破產

    30:12

  • my engagement with Twitter was the thing that produced the chaos

    製造混亂的就是他自己在 Twitter 上的投入

    34:38

  • this is a a technology which in the limit will replace jobs and not create better new jobs in in their wake

    他認為這項技術長期會取代工作，而不會在後面創造更好的新工作

    1:12:31

名詞與人物

AGI
通用人工智慧；Sam 的用法是能在各種情境解決問題、做決定的系統，他認為一出現就已是超人類。
Alignment
對齊，指 AI 的目標能長期穩定地與人類利益一致，是這集的核心擔憂。
Substrate independence
智慧不依賴載體，不一定要由生物腦實現，也可以用矽。
Narrow AI
只在單一任務上強的 AI，例如計算機與下棋引擎。
AlphaZero
Sam 的例子：只給規則、自己對弈，他說大約四小時就強過內建人類棋譜的引擎。
Stuart Russell
柏克萊電腦科學教授，合寫過一本很常用的 AI 教科書；Sam 引用他的外星來訊類比。
Epistemological bankruptcy
認識論破產，指分不清真假時只能預設一切可疑，除非被證明為真。
Provenance
資訊來源與驗證紀錄，Sam 認為未來影像的可信度要靠它。
UBI
全民基本收入，Sam 提出的其中一種因應大量失業的做法。
Mysteries of Eleusis
古希臘的入會儀式，Sam 借它說明迷幻藥與冥想可以如何被當成成年儀式。

延伸

  • Sam 說他正在自己的 podcast 向專家請教資訊驗證在技術上可行的做法，這集只講了他的設想。
  • 迷幻藥研究的復興與冥想，他在收尾時才提到，這集沒有展開。
  • 他在這集講的不說謊，他說在他的書裡有更完整的討論，這集只舉了幾個例子。

出現在這些跨集主題

同港的其他集 · AI 與科技島 ⚓ AI 會不會失控港

在群島圖上看這個港口的全部 14 集 →