模擬論證與超智慧的機率

Lex 問什麼是模擬假設。Bostrom 強調要照字面理解，不是比喻；並把「模擬假設」（我們活在模擬裡）跟「模擬論證」（三選一的命題）分開。

模擬論證的第一支——幾乎所有處在我們這個階段的文明，都在達到科技成熟前滅絕，好像有某種「大過濾器」讓沒有文明能發揮科技的全部潛力。

「科技成熟」是把能發展的通用技術幾乎都點滿的階段。Bostrom 舉研究員 Eric Drexler 八〇年代的分子製造理論研究：用原子級精準的零件，能做出方糖大小、運算力是人腦百萬倍的粗糙電腦；研究所另外也估算過殖民銀河的速度。兩者合起來，可以推出科技成熟文明算力的下限。要花多久才到不影響論證本身，但會改變三個選項之間的機率。

Lex 要求回頭逐一講三個選項。Bostrom 說第一支要成立，得是宇宙中幾乎所有文明都失敗；宇宙很大，照目前最流行的宇宙學理論甚至是無限大，應該有很多文明，所以得有某種對所有文明都一樣致命的風險因子，光是能滅掉人類的風險還不夠。

第二支：文明抵達科技成熟後，選擇不去造模擬。Bostrom 順道定義「祖先模擬」——模擬裡的人要有跟真人一樣的主觀意識，不是電玩裡的 NPC。

模擬論證借用心靈哲學的前提：意識可能取決於運算結構，不是碳基神經元。Bostrom 認為運算細節到神經元層級、行為跟人腦一致，那應該就有意識，但更省略的運算能不能也產生意識還不確定。

Bostrom 介紹 Nozick 的「體驗機器」：插上去就能得到任何想要的體驗，但多數人不願意永久進去，可見人在乎的不只是體驗，還有真實的人際連結、對歷史的影響。他也指出其中可能有現狀偏誤：如果告訴你現在的人生其實是一場夢，醒來會是秘魯種花生的農夫，很多人也會寧可留在熟悉的那一邊。

討論轉向能不能「假造」意識。Lex 提到自己讓掃地機器人尖叫、呻吟，觀察自己被騙得多快；Bostrom 認為淺層互動很容易騙過去，但能應付開放式深入追問的話，可能就已經是真的有意識了。

Bostrom 舉作夢為例：三磅重的腦子毫不費力就能做出讓人分不清是不是現實的體驗，推論擁有行星大小電腦的超智慧文明要做出以假亂真的模擬應該更容易。Lex 提出人腦會不會就是宇宙智慧的天花板，Bostrom 認為不太可能。

回到三選一的機率權重：離科技成熟愈近，第一支「文明滅絕」的機率就該往下修。被機器超智慧滅掉也不會讓第一支成立，因為取代人類的超智慧自己仍可能達到科技成熟。Bostrom 也坦言人類對這類大問題的認知有限，但仍可以理性推論，只是要接受一大塊不確定性。

Bostrom 深入談第二支：科技成熟後文明可能取得直接調控心智狀態的能力，原本要靠外在行動追求的目標能直接達成，整個文明的動機結構可能因此改變，連帶影響要不要造模擬。

Lex 提起 Bostrom 上 Joe Rogan 節目時卡住的地方——為什麼「有人造了模擬」能推出「我們大概率活在模擬裡」。Bostrom 提出「無差別原則」：分不清自己屬於哪一群觀察者，機率就照兩群人數比例分配。

Bostrom 介紹 Brandon Carter 與 John Leslie 提出的末日論證——主張人類長期低估了自己快滅絕的機率；他說多數人覺得這個論證哪裡有問題但說不清楚是哪裡，他自己的看法是這個論證不算定論。

用兩個裝球數量不同的甕類比：摸到編號小的球，會讓人更相信自己摸的是球比較少的那個甕。照末日論證，你的出生順位大約是第 1000 億人，這個順位會讓人往「人類快滅絕」的方向修正機率。關鍵在「自我抽樣假設」，很多人覺得可疑，但 Bostrom 指出宇宙學裡看起來正當的推論似乎也少不了類似的假設。

Bostrom 比較兩個論證背後的假設：末日論證的「自我抽樣假設」比較強、比較有爭議；模擬論證用的「無差別原則」弱得多。模擬還可能層層疊套，但所有層級的運算最後都要由最底層「基底現實」的電腦撐著，這座塔可能不會太高。

Lex 問起馬斯克是這個假設最知名的傳播者之一。Bostrom 推測，如果剛好是馬斯克、川普這種特別引人注目的人物，可能更容易出現在那種只模擬部分特殊人物的模擬裡。

討論模擬裡的生物有沒有能力理解「創造者」的世界。Bostrom 用狗理解人類做類比：狗只能理解一部分，人類對自己所處更大脈絡的理解可能也是這樣分層的。

話題轉向超智慧：什麼是智慧、什麼是超智慧。Bostrom 給出常識性定義——解決複雜問題、從經驗學習、規劃、推理的能力，而且他認為智慧不必然要伴隨意識。

Bostrom 先強調機器超智慧有巨大的正面潛力：寫《Superintelligence》時他覺得風險被忽略，現在對齊研究多了，反而該把好處拉回桌面。他主張把近期（自駕車、演算法歧視這類）跟長期（書裡談的）分開，否則會變成一場壞掉的對話。他說 AGI 是終極的通用技術，沒有單一殺手級應用，但它不會自動解決人與人之間的政治與協調問題。

討論「智慧爆炸」——AI 進展在接近人類水準認知能力附近會不會突然加速。Bostrom 說他不確定會有多爆炸性，但他猜自己可能比一般 AI 研究者稍微更傾向這種急遽加速的情境。

Lex 問造出比人類聰明的東西是什麼感覺。Bostrom 說失去控制不必然發生——有一些人正在研究怎麼讓愈來愈強的問題解決能力仍然服務人類價值。Lex 接著說人類會失去地球上最聰明的地位，這牽涉自尊；Bostrom 回說宇宙那麼大，很可能早有擁有超智慧的文明把我們遠遠甩在後面，而科學社群整體本來就比任何個人聰明，我們早就接受了。

Lex 問 Google、Twitter、Facebook 這些推薦系統的集體智慧算不算超智慧。Bostrom 認為這些系統在檢索資訊上早就超越人類，但很多別的事完全做不到；Lex 拿 AlphaZero 跟 Deep Blue 對比，Bostrom 同意能自己學會新領域的學習能力是通用智慧的重要面向。

兩人想像 AGI 之後的世界。Bostrom 說資源與物質限制會被大幅打開，人類可能得從第一原理重新想一次「什麼是生命的意義、什麼是幸福」。

Bostrom 認為選項空間一旦被打開，很可能可以同時在好幾種價值標準上都拿到接近滿分，不必第一時間就假設要有人吃虧；真的沒辦法全拿滿分時，才輪到討論哪一個只能拿 97 分。

Lex 問生命的意義是什麼。Bostrom 認為快樂跟意義是可以分開的兩件事——耍廢追劇能帶來快樂但未必覺得有意義，需要自我犧牲的成就可能很有意義但不見得好玩。