可理解智能：把黑盒子攤開來

這是 Tegmark 第二次上節目（他是整個節目的第一位來賓），Lex 請他從 AI 如何撬開各門科學的難題聊起。

Tegmark 介紹他參與的 MIT「AI 與基礎交互作用研究所」。他認為 AI 能幫物理，物理也能幫 AI：一是硬體（例如同事 Marin Soljačić 研發的光學晶片），二是態度，把工程式的「先求能動」換成物理式的「徹底弄懂、甚至證明它永遠會照預期運作」。

他說今年的突破（跳舞機器人、AlphaFold、GPT-3、MuZero）有個共同點：我們都不完全懂它們怎麼運作。他舉波音 737 MAX 與交易系統 Knight Capital（四十四分鐘內每分鐘虧一千萬美元）為例，指出這些自動化事故不是機器變壞，而是人類信任了自己其實沒完全理解的系統；他認為承認自己可能沒真正搞懂，才是科學家最基本的態度。

他說這些系統基本上都是黑盒子，自己的 MIT 研究就是要把黑盒子拆開，「可理解的智能」是他的口號。他反駁「神經網路厲害是因為深不可測」的說法，認為真正的力量來自可微分：每次微調參數都量得出變好還是變壞，這正是最佳化能運作的原因。

他介紹團隊的 AI Feynman 專案：先訓練神經網路逼近資料背後的公式，再用額外的技巧分析這個網路，拆解出人類看得懂的方程式。團隊用這套方法重新找回了 Feynman 物理課本裡全部一百條公式；他說克卜勒盯著火星資料花了四年才看出的橢圓軌道，這套程式一小時就能自動找到。

他把這個過程類比成人類科學家本來就在做的事：小孩很早就靠大腦裡的「神經網路」學會接住拋出的蘋果，但 Galileo 更進一步，把這份直覺蒸餾成 y 等於 x 平方的公式；他認為人類的語言與科學，做的就是把直覺萃取成可以傳遞給別人的符號。被問到能不能全部都是神經網路時，他指出人類先做出邏輯式 AI、後來才有神經網路，演化卻是先有神經網路；人類強過老鷹與花栗鼠的，正是把直覺轉成符號的那一層，通用人工智慧需要把兩者結合起來。

他說業界通往通用人工智慧大致有兩條路：一條不斷做更大的黑盒模型、不求理解，他形容這讓他「毛骨悚然」；另一條先用神經網路取得直覺，再轉譯成可以理解、甚至可以證明的東西。他認為如果人類真的做出通用人工智慧卻仍不懂它怎麼運作，至少有五成機率不久後就會滅絕。

被問到能不能像證明數學定理一樣證明神經網路的行為，他提到一套由 DARPA 資助、可以數學證明「永遠不會被駭」的作業系統，並指出驗證一個證明遠比找出證明本身容易。他認為「資安沒救」的說法其實對賣電腦的公司最有利，實際上可以做得好很多，例如把行車電腦與娛樂系統在實體上完全分開，開車時也不接受無線更新。

他把基因、大腦、公司、國家串成同一個對齊故事：基因為了複製自己「創造」了大腦，結果人類發明了節育與代糖來反過來鑽基因的漏洞；公司也是同樣道理，社會靠法律與反壟斷（他舉老羅斯福對抗鐵路公司為例）試著讓企業的誘因對齊大眾利益。他也提到 Muhammad Atta 與德國之翼那位有憂鬱症的機師 Andreas Lubitz 的例子，說明光教自動駕駛系統服從飛行員還不夠，還得教它「絕不飛進山裡」這種基本常識。

被問到人類社會是不是總能在最後一刻找到解法，他說有一件事變了：規模。他以復活節島為例——當年那個文明滅絕了，至少地球其他地方還有人活著；但如果人類把整顆星球搞砸，沒有第二個地球可以重新開始。他也提到科技把個人的破壞力放大了很多倍，一次意外的核戰可能就是六、七十億條人命；有人設計出一種跟 COVID 一樣容易傳播、卻幾乎見人就殺的病原體，他認為在我們這一生就完全可能發生（天花過去就殺死了三分之一的染病者）。

他反問：看看 2020 年，有人覺得全世界的政府處理得無懈可擊嗎？他說自己多年前就答應過自己不當抱怨的人，只問能學到什麼。他舉南韓為例——超過五千萬人口，他當時查到的死亡數大約五百人，原因是南韓過去被 SARS 打過，提早做好了快篩與疫調的準備；他也建議撥出一小部分 GDP，請人系統性地盤點未來可能出錯的事，先做準備。

他認為絕大多數人本質上是好人，會做壞事通常是因為被餵了錯的資訊；宣傳從馬基維利的年代就有，新的是機器學習遇上宣傳：平台為了讓人多看廣告而最佳化，演算法發現最能黏住人的是激起憤怒的內容，是真是假都無所謂，於是造出前所未見的同溫層；他也說美國的記者人數比一個世代前少了一半以上。

他介紹自己的疫情居家專案 improvethenews.org，一個免費、不放廣告的新聞聚合器，靠三根滑桿讓讀者自己看見同一件事在光譜兩端怎麼被報導：一根是左右立場，一根是語氣（把尊重不同觀點的文章拉上來），還有一根是建制／反建制，專門抓出兩邊主流媒體都不提的新聞（他舉了伊拉克戰爭前質疑大規模毀滅性武器說法的小報社為例）；他也引述 Chomsky 的話：宣傳之於民主，就像暴力之於極權。

他認為從一、兩、三代的時間尺度看，地緣政治只有兩種結局：對全人類都很好，或對所有人都很糟，不會有中間地帶；科技不分國界，最好的結果是美、中、俄與其他國家這個世紀一起變得更健康富足。如果各國把彼此當假想敵，只會讓愈來愈強大的科技被拿去互相傷害。

他指出 2020 年是自動化武器的「最佳行銷年」——利比亞內戰與納卡戰爭裡，無人機都成了戰場上的決定性因素（這些大多還是遙控的，還不是全自動），其他國家看在眼裡都開始想跟進；他也提到打造土耳其那款無人機的公司，創辦人出身 MIT 航太系。他主張大國該像當年禁生化武器那樣處理：Meselson 說服尼克森的理由，就是美國不希望出現連敵人、非國家組織都買得起的五百美元大規模毀滅性武器；他提議至少規定這類武器造價不得低於一千萬美元。

他認為「奪命的決定必須由人下」是一條不該跨過的線，現行美國國防部政策也要求人在決策迴路裡；但他也解釋這條線為什麼承受著壓力——遙控武器可能被干擾、有延遲，全自動就能免掉被干擾與延遲的問題。他引用曾說服尼克森禁止生化武器的哈佛學者 Matthew Meselson 的洞見：管制不需要百分之百抓到作弊者，哪怕只有百分之一的機率被抓到，污名效應就足以讓大國不敢輕易嘗試。

他認為 Vasily Arkhipov 是現代史上對人類貢獻最大的人。他說起 Future of Life 獎第一次頒發的故事：古巴飛彈危機期間，一艘蘇聯潛艦因為缺氧、高溫、電力將盡，艦長誤判世界大戰已經開打，決定發射核魚雷，需要三人一致同意才能發射，其中一人 Arkhipov 沒有同意；他形容 Arkhipov 只是剛好比另外兩人冷靜，而他不希望人類的存續得靠剛好有這樣一個人在場。Arkhipov 聽出深水炸彈一左一右交替，判斷美方是在發訊號要他們上浮，不是要擊沉；他之前在另一艘潛艦經歷過反應爐事故、親眼看著船員死去，Tegmark 認為這讓他同時有直覺與冷靜的分析。

隔年的 Future of Life 獎頒給了 Stanislav Petrov——蘇聯預警系統誤判美軍發射五枚飛彈，他選擇不通報、不升級，靠的主要是直覺；他也提到另一組得獎者合力讓美蘇在冷戰期間攜手根除天花，他出生那年全球還有一千五百萬人死於天花，如今是零，估計因此少死了兩億人。

被問到 Elon Musk 對 AI 的擔憂，他形容 Musk 的思考尺度是幾百萬、幾十億年的宇宙尺度，因此格外清楚繼續玩核武俄羅斯輪盤、或做出人類不理解的強大 AI 系統有多不划算；他也還原了 Musk 那句被斷章取義的「召喚惡魔」發言的現場脈絡——那是在 MIT 航太系週年活動的問答尾聲，他班上一個學生在最後問到 AI 才引出的一句話，媒體卻拿去把 Musk 塑造成盧德主義者。

他強調 AI 帶來的風險不是機器變壞，而是機器太有能力，一旦目標沒對齊，它就是會不計代價把目標做到；他用人類讓西非黑犀牛滅絕的例子說明——不是人類仇恨犀牛，只是雙方目標對不上。被問到 Neuralink 式的人機共生是不是解方之一時，他坦言不知道，但他相當確定，如果這些方法一個都沒做成就一路往前衝，人類大概會在這個世紀滅絕；所以該像曼哈頓計畫同時試四種濃縮鈾的方法那樣，每條路都投入。

他把對齊問題拆成三塊：先讓機器理解人類的目標（德國之翼那位機師的自動駕駛系統根本不懂「不要撞山」這種常識）、再讓機器真正採納這個目標（孩子身上有一段「聽得懂又還教得動」的視窗期，機器的這段視窗可能很短）、最後是讓機器一直保有這個目標，不要像小孩對樂高一樣慢慢失去興趣。他主張不必拖慢技術，但要大幅增加安全研究的投資。

他認為意識和智能一樣，都是某種資訊處理過程，原則上不分碳基還是矽基；他的說法是：意識是資訊在被處理時的感覺。如果真是這樣，原則上就能做出「意識偵測器」，判斷病人是不是真的清醒、或者一個陪伴機器人到底是真的有感受、還是只是在表演。他說如果自己要跟機器人建立感情，會希望知道對方是真的有感受，而不是被設計成看起來有感受的騙局。

他想安慰 Lex——就算知道自己喜歡吃東西、談戀愛都是基因設下的「騙局」，那份享受依然真實。他借用 Feynman 回應藝術家朋友的說法：科學家一樣看得到花的美，還看得到更多——一棵開花的蘋果樹是用空氣做的，它藉著陽光的熱把空氣裡的碳鎖進來；壁爐裡燒木頭的火光，就是當初鎖進去的陽光重新被釋放。科學只會增加美，不會減少。他也把演化比成加強版的 MuZero：夸克在生存競爭裡自己跟自己對弈，最後下出了長頸鹿、大象和人類。

他認為 AI 很可能幫人類拼出物理學的大一統理論，讓科技的極限從「人類發明得出什麼」變成「物理定律允許什麼」；他也舉了三個他認為最燒超級電腦時間的計算物理難題——格點量子色動力學（同事 Frank Wilczek 因此拿過諾貝爾獎，但方程式難到算不動）、黑洞碰撞的重力波波形、宇宙結構模擬。同事 Phiala Shanahan 用一種叫 normalizing flows 的機器學習技巧，已經能大幅加速格點量子色動力學的運算。

他解釋找數學證明其實就是在天文數字般大的符號組合裡搜尋一條正確路徑，而 AlphaZero 打破了「直覺是人類專利」的迷思——Deep Blue 當年靠人類餵給它的棋局評分規則硬算贏了 Kasparov，AlphaZero 卻是自己學出判斷盤面好壞的直覺，沒有人告訴它；MuZero 更進一步，同一套系統不管西洋棋、圍棋、將棋還是 Atari 遊戲，都能自己學出這種直覺。他認為類似的直覺未來也可能幫助人類找到定理的證明方向；至於 AI 能不能拿諾貝爾獎，他猜想界線會愈來愈模糊，而不是某天突然頒給一台機器。

他認為 AI 能在科學上勝過頂尖科學家的時候，大概也就是通用人工智慧出現的時候，那時要擔心的事比諾貝爾獎大得多；但不必等到那一天，只想讓人盯著螢幕的簡單演算法就已經撼動社會。機器人已經來了，只是不是來殺人，而是來駭我們的心智，讓我們買不需要的東西、投票給不為我們著想的人；連可愛的小狗都能駭我們，被比自己笨的演算法駭也就不奇怪。

他重申自己的推測——多數走到能造望遠鏡這一步的文明，要嘛很快往星際擴張、要嘛很快自我毀滅，停留在中間這個階段的時間非常短；正因為這個階段短，如果宇宙裡真的有很多文明，反而更可能撞見還停在細菌階段的星球、或是已經完成星際殖民的文明，而不是剛好也停在這個階段的鄰居。

他從機率角度解釋為什麼他猜測在人類望遠鏡能看到的範圍內，我們很可能是唯一的文明——地球生命起源的機率完全未知，可能是十的負一次方，也可能是十的負四十次方，把這個不確定性攤開來看，鄰居剛好落在「看得到又還沒看到」那個窄窗口裡的機率其實不高。他認為這帶出一個道德教訓：不能指望有 Star Trek 艦隊來收拾殘局，整個可觀測宇宙裡智慧生命的未來可能只靠我們，有點嚇人，也讓人有力量。他也借 Nick Bostrom 的大過濾器說：每次在火星找不到生命都是好消息，代表那道關卡可能已經在我們身後，未來握在自己手上。

他說死亡確實讓人難過，但從現代物理角度看，「自己」不是原子，原子一直在汰換，真正的自己是資訊處理的模式——記憶、價值觀、熱情。Feynman 雖然死於癌症，但他的許多想法至今還活著，他自己也努力讓一點 Feynman 活在自己身上；他當老師時也覺得，學生學走的東西讓他「少死一點」。他認為後生物的智慧原則上可以把資訊完整複製出去，不必留下任何東西死去，個體之間的界線也可能因此變得模糊。