AI 是外星智慧，問題在演算法

重點摘要

• AI 不是工具而是外星智慧Harari 認為 AI 是第一個能自己做決定、自己想出新點子的科技，印刷術和原子彈都做不到。他說十年後的情況取決於這幾年的決定，有可能是數百萬個 AI 官僚在銀行、政府、企業裡替人做決定，而人愈來愈看不懂它們的理由。
• 民主建立在資訊科技上Harari 說大規模民主要等報紙、電報、廣播、電視出現才可能。所以社交媒體和 AI 這種資訊科技的地震，一定會震到民主；巴西、法國、菲律賓都出現了類似的對話崩壞。
• 問題在演算法不在使用者他區分「人說了什麼」與「演算法推什麼」。平台給演算法的目標是拉高使用者參與度，演算法就發現恐懼、仇恨、貪婪最抓得住注意力。他主張該追究的是平台為演算法的行為負責，不是使用者的貼文；機器人也沒有言論自由。
• 民主需要把對方看成對手Harari 說一旦認定對方是要毀掉自己的敵人，選舉就變成戰爭，輸的人沒有理由接受結果。他提到民主要活下去的三個條件：能對話的資訊科技、對選舉等機構的信任、把另一邊當對手而不是敵人。
• 信任要靠機構，不靠影片影片以前難以造假所以大家信技術，現在 Harari 說回到跟印刷品一樣的原則，信的是背後的機構。能不能夠快地建立起可信的機構，是民主能否撐住的關鍵；什麼都不能信的時候，最適合獨裁。
• 目標難定義，合作才是出路用 Nick Bostrom 的迴紋針實驗和社交媒體的例子，他說明對齊問題：容易量化的目標最危險，難量化的（例如不傷害民主）很難交給演算法。他最後的結論是人類仍比 AI 強，但互相分裂，所以必須合作。

時間軸

值得記的話

• democracy in essence is a conversation

  民主的本質是一場對話

  11:28

• the issue is not the humans the issue is the algorithms

  問題不在人，在演算法

  34:13

• you cannot trust the technology you trust the institution

  不能信技術，要信機構

  51:42

• if something ultimately destroys us it will be our own delusions

  如果有什麼終究毀掉我們，會是我們自己的妄念

  1:47:19

• trying to disappear a part of reality that you don't like

  Harari 這樣定義戰爭：想讓現實裡不喜歡的部分消失

  1:51:33

名詞與人物

Nexus

Harari 的新書，副標是從石器時代到 AI 的資訊網路簡史

alien intelligence

Harari 對 AI 的叫法，意思不是來自外太空，而是決策方式與人腦根本不同

AlphaGo

2016 年打敗圍棋世界冠軍的程式，他用來說明 AI 走出人類沒走過的路

alignment problem

演算法照字面完成被給的目標，結果偏離人類真正的利益

Nick Bostrom

提出迴紋針思想實驗的哲學家，Harari 說那是 2014 年

Silicon curtain

他仿鐵幕提出的詞，指美中、民主黨與共和黨、人與人、人與 AI 之間的分隔

counterfeit humans

假冒真人的機器人帳號，他主張應該禁止

information diet

把資訊當食物，要限量、要留時間消化

延伸

• AI 朋友被當成有意識的存在之後：Harari 只點出在美國，法律上的人不一定要是人類，這條路已經存在。
• 保護民主這種難以量化的目標怎麼交給演算法，他說沒人知道民主穩固度的定義，是對齊問題的核心。

出現在這些跨集主題

• AI 搶誰的工作：數據都說還沒，解讀分兩派