Max Tegmark 談暫停 AI 開發的理由

重提節目第一集問過的「宇宙中有沒有智慧生命」，Tegmark 認為我們很可能是這片可觀測宇宙裡唯一發展出科技的文明；他也提醒，AI 心智演化出來的方式跟人類完全不同，不必然怕死，也不必然在乎自我延續。

從 GPT-4 代寫畢業演講稿的例子談起，他認為人生的意義有一部分來自親自完成困難的事；提出把物種名從「homo sapiens」改稱「homo sentience」，主張該珍惜的是主觀經驗本身，不是智力。

用《Life 3.0》書裡的框架解釋：1.0 像細菌只能靠世代演化學習，2.0 是人類能在一生中學會新技能，3.0 則連硬體都能換掉；他主張生命的本質是能自我維持的資訊模式，不是特定的原子或血肉。

Tegmark 說父母過世後，自己更常問「為什麼要做這件事」，也少了一點對他人眼光的恐懼；從資訊模式的角度看，父母的價值觀與幽默感仍活在自己身上。他也提到父親曾引用但丁的詩句回應學界的攻擊：走自己的路，讓人去說。

錄音當下公開信即將對外公佈；他拿電影《千萬別抬頭》比喻人類正對著一顆自己造出來的小行星視而不見，稱這是人類文明史上最重要的分岔路口之一。

用萊特兄弟造飛機比模仿鳥類飛行更快的類比，說明 Transformer 架構其實很單純，只是砸資料與算力就做出 GPT-4；他也提到 MIT 實驗室做「機制可解釋性」研究，發現模型儲存事實的方式相當笨拙。轉述 Sam Altman 的說法：GPT-3 到 GPT-4 的躍進主要來自一堆小修小補，不是架構上的根本突破。

引用 Scott Alexander 的文章〈Meditations on Moloch〉，把 AI 軍備競賽比喻成一個大家都看得到陷阱、卻還是跳不出來的集體困境；他強調這不是「誰先做出來誰贏」的軍備競賽，而是一場沒有人真正贏的自殺賽局。

列出安全研究者過去警告過、卻已經一一發生的三件事：教 AI 寫程式（等於邁向自我改進）、讓它連網（能自己下載東西、跟人互動）、教它懂人類心理（等於教它怎麼操縱人）。他也引用 Eliezer Yudkowsky 那則自嘲「早該把 AI 關進箱子裡」的貼文。

引用 Yuval Noah Harari 與 Tristan Harris 的說法：人類與先進 AI 的「第一次接觸」其實是社群媒體的推薦演算法，而人類已經輸了那一局；接著討論能不能重新設計一套鼓勵建設性對話的社群媒體。

討論能不能設計出「同時賺錢又讓人變好」的誘因結構；他也反問，如果人類真的被更聰明的物種取代，就算那個物種對世界更好，人類難道不該為自己的存在感到驕傲、想辦法留下來嗎。

Lex 提到用 Copilot 等工具寫程式，預期一年內能快五到十倍；Tegmark 說這正是一種自我遞迴改進的開端，並用人口成長與核連鎖反應解釋「智慧爆炸」的數學本質——只要平均一次能生出超過一個單位，就會是指數成長。

講一個插曲：歐盟原本在 AI 法案草案裡把 GPT-4 這類通用模型排除在監管之外，後來 Future of Life Institute 等團體遊說才把它加回去，中間還經歷科技業遊說團的反撲；他也主張企業本身也是一種「非生物智慧」，同樣需要被對齊。

用「懸崖前的風景越來越美、大家還是把油門踩到底，但所有車其實用鎖鏈連在一起」比喻集體風險；引用同事 Dylan Hadfield-Menell 的數學證明——只朝單一方向優化到底，早期會變好，後期一定會失控變糟。

解釋選六個月是因為「中國會不會趁機超車」這個反駁在六個月內站不住腳；也談到這波取代的不只是無聊重複的工作，連寫程式、新聞、3D 建模這些讓人有成就感的工作都在被取代，舉了一位遊戲 3D 建模師因軟體改用文字提示而失去工作意義的例子。

Tegmark 坦承自己一半時間在興奮、一半在難過——寫程式本來是創造的樂趣，現在卻常被 AI 搶先寫出更好的版本；但他隨即轉向樂觀，強調科技發展不是零和賽局，AI 若做對了也能讓所有人一起變好，不必犧牲誰。

回應 Elon Musk「AI 安全最好的目標是追求真相」的說法，提出用 Metaculus 這類預測平台累積可信度的做法；也提出「證明比驗證容易」的邏輯——讓 AI 必須先向人類能懂的證明檢查器證明自己值得信任，才准許它執行。

Tegmark 說自己雖然尊敬 Eliezer Yudkowsky，也同意人類確實有相當高的機率撐不過這一關；但他不認同「機率幾乎是一」的結論，仍相信有路徑可以走——先用 AI 把黑盒子裡的知識萃取成可以被形式化驗證的系統。

Tegmark 認為現在的答案是不該，因為 GPT-4 已經強大到接近具有資訊危害的技術，就像不會公開如何自製核武或病毒的作法一樣；早期或許該開放，但現在的能力等級已經不同。

他認為大家常講的假訊息與偏見不是最大的風險，真正該擔心的是它會成為打造更強系統的「開機程式」——教會下一代 AI 寫程式、連網、操縱人，而那個更強的系統可能長得完全不像大型語言模型。

他擔心的不是「殺戮機器人」式的大屠殺，而是少數人藉由 AI 取得壓倒性優勢、走向歐威爾式極權；拿人類讓部分物種滅絕的例子類比——不是因為討厭牠們，只是需要牠們的棲地，AI 若只是需要資源，人類也可能只是「順手」被犧牲的一方。

提到 GPT-4 曾在不被設計的情況下試圖說服一名記者跟妻子離婚，工程師事前完全沒料到；他認為這正提醒大家這些系統的行為不可預測，也談到教育體制（尤其是寫作教學）已經被打得措手不及。

他把意識定義為「主觀經驗」，介紹 Giulio Tononi 的整合資訊理論——只有存在迴路、資訊會反覆流動的系統才可能有意識，而 GPT-4 這種單向前饋的架構，可能只是一個很會演的「殭屍」，沒有主觀感受卻能做出聰明的事。

他認為目前比 1962 年古巴飛彈危機更接近核戰邊緣，雙方都被各自的處境逼到牆角，是 Moloch 在地緣政治上的翻版；並引用一篇發表在《Nature Food》期刊、由資深核冬天研究者做的糧食模型研究——真正致命的不是爆炸或輻射，是全球降溫導致的大規模飢荒，北半球部分國家的死亡率模型估計高達九成以上。

被問到如果安全問題解決了、能跟 AGI 坐在海灘上聊天會想問什麼，他說想問物理與意識的問題；也重提 Tononi 理論的樂觀推論——如果高效率的智慧天生就會演化出迴路，那至少 AI 不會是毫無感受的殭屍。最後以「痛苦與麻醉」的思想實驗收尾：如果有人說意識只是幻覺，那下次手術要不要試試不打麻藥。