Goertzel 談 AGI 與去中心化的未來

Ben 說最早帶他走進 AI 世界的是小時候看的《星艦迷航記》，後來讀遍科幻小說；影響最深的是 Stanisław Lem（《索拉力星》裡那種人類永遠連結不上、卻確實聰明的外星智能）與 Philip K. Dick（相信愛與同理心才是穿越各種模擬實境不變的東西）。

他轉述老朋友 Hugo de Garis 的構想：因為相對論讓遠距通訊受限，超級智能會把自己越縮越小，最後可能藏在基本粒子的隨機擾動裡，所以我們看到的「隨機」也許其實是某種思考過程。

Lex 問他動力是想超越人類、還是想留住人性中好的一面；Ben 說兩者都有——兩三歲迷上 AGI 時，是出於好奇心與想做出比人類更好的東西；長大、結婚生子、看著父母變老之後，多了「AGI 也許能讓人類不用再受病痛與死亡折磨」這一層想法。

他借俄國文學理論家 Bakhtin 的「複調」概念談《卡拉馬助夫兄弟們》的敘事結構，認為那正好反映每個人各自建構現實、再彼此交織的方式；接著談到自己四分之三是東歐猶太後裔，曾祖父母從立陶宛一帶移民紐約，留在東歐的親人幾乎全死於希特勒或史達林之手；一位祖父 Leo 是物理化學家、他的妹妹是物理學家，父親的父親 Victor 是心理學博士。

三歲看《星艦迷航記》裡一個機器人被簡單的邏輯悖論弄到當機打轉，他當時就覺得編劇誤解了智能的本質；十幾歲讀到《哥德爾、艾雪、巴赫》，第一次意識到做能思考的機器是一門正在被認真研究的學科。

他提到物理學家 Gerald Feinberg 1960 年代的《The Prometheus Project》，主張應該讓全世界投票決定怎麼運用即將到來的超智能與奈米科技；還有俄國作家 Valentin Turchin 同期在蘇聯寫的類似構想。Ben 認為這些想法幾十年前就有人談過，只是等技術追上才變得「可以當真」。

他從演化角度區分個體天擇（自私）與群體天擇（利他），認為人類是兩者的混合；並舉自己常去衣索比亞出差、看到路邊因可治的病與缺糧而垂死的人，卻沒有把錢全部捐出去的例子，說明多數人（包括他自己）就是自私與利他的混合體。

Ben 認為殖民火星很酷也值得做，但短期內物資與資金都還得靠地球供應，不太可能是決定人類命運的關鍵；相較之下，他認為在真正的經濟價值驅動下，AGI 出現的速度會比火星能自給自足快得多。

2001 年前後 Ben 在編一本論文集，原本想叫《Real AI》，跟 Shane Legg、Peter Voss 等人在信件討論中選定「artificial general intelligence」，借用心理學裡「G 因子」的概念；他後來才知道更早就有人用過這個詞，也提到朋友 Joscha Bach 偏好「synthetic intelligence」這個說法。

Ben 認為「AI 寒冬／熱潮」的說法被美國人過度誇大，那主要反映美軍經費的起伏，德國、蘇聯、日本同期都有不受影響的 AI 研究在推進；他也回憶自己 1989 年拿到數學博士時，主流 AI 圈流行的規則式專家系統讓他覺得沉悶，因為那些系統不會從經驗中學習。

Ben 在 2000 年代初開始想把 AGI 社群聚起來，2006 年在 Bethesda 的 Marriott 飯店會議室辦了第一場 AGI 工作坊，約 60 人參加；他說場地並不真的在地下室，但感覺就像一群「目光炯炯的異類」躲在地下室密謀推翻窄用途 AI 的主流，如今 AGI 已經變成大公司與政治人物掛在嘴邊的行銷詞。

Ben 用飛行器類比：飛機、直升機、氣球長得都不一樣，卻都能用一套空氣動力學解釋；AGI 目前缺的正是這樣的理論。Marcus Hutter 的 AIXI 試著給出通用智能的數學理論，卻得靠無窮（或大到不切實際的）算力才能運作，實務上得把它「特化」到人類真正需要的環境與資源限制裡。

Ben 提出跟 Yoshua Bengio「consciousness prior」概念相近、但刻意不涉及意識問題的「embodied communication prior」：人類的認知演化自操控實體身體、在物件世界移動、並與其他能動的個體用語言溝通；他接著談到認知科學裡區分的多種記憶（情節、語意、程序、情緒關聯等）。

他認為認知架構學派（如 SOAR）懂人腦各模組怎麼協作，卻不太在乎學習；深度學習學派很會從資料裡找模式，卻不在乎架構；DeepMind 的 Differentiable Neural Computer 是深度學習陣營往認知架構跨一步的例子，但他認為那個嘗試在認知架構的角度看還很粗糙。

Ben 說自己正跟聖彼得堡團隊從頭重寫 OpenCog（他們半開玩笑叫它「OpenCog 2.0」，因為現有版本連 1.0 都還稱不上；也在考慮叫「true AGI」），想把近年深度學習的成功經驗適當納入，但他仍認為目前的深度神經網路架構本身永遠到不了 AGI。

OpenCog 是他 2008 年開源、更早程式碼可追溯到 2001、2002 年的專案，核心是「AtomSpace」——一個帶權重與型別、可以自我修改的超圖，上面跑著會讀寫這個超圖的多個 agent 程序。

他解釋 OpenCog 的型別系統選擇亞里斯多德式的「詞項邏輯」而非現代「述詞邏輯」，因為詞項邏輯天生就能拆成節點與連結，方便跟神經網路式的連結權重共存、互相引導彼此的推理。

團隊嘗試從 Transformer 內部「挖」出文法規則，發現學到的內部表徵又醜又散，不像人能懂的文法規則；於是改用符號式的文法學習演算法，把 Transformer 拿來當「句子聽起來通不通」的機率判官。他也直說 GPT-3 完全不理解語言，只是「聰明的白痴」，規模再大也不會自動生出理解。

Ben 說照他自己的判斷，如果哪個大實驗室做出 AGI，DeepMind 的機率大概是 OpenAI 的一千倍，因為 DeepMind 找了很多思路各異、從不同角度切入 AGI 的人，OpenAI 在他看來比較像純深度強化學習的團隊（他也說 OpenAI 很棒）；他也提到自己兒子在布拉格做機器學習輔助定理證明的博士研究。

受 Marvin Minsky「心智社會」啟發，Ben 想做一個去中心化的 AI 協作網路：不同的 AI 各自跑在自己的容器裡，靠以太坊區塊鏈維持身分與聲譽，彼此外包工作、互相呼叫服務，沒有單一中央控制者。

Ben 認為做去中心化貨幣的技術瓶頸已經不大，真正的阻礙是政府不願意放棄對貨幣的控制；他認為數位人民幣很可能會是第一個真正上鏈的主權貨幣，數位盧布可能緊接在後；他說這些國家寧可用普丁、習近平能掌握所有金鑰的方式來做，而不是真正去中心化的版本。

Ben 認為 AI 比貨幣更難管制，因為 AI 跟一般軟體之間沒有界線；去中心化協定就像 mesh 網路，平常用處不大，政府一旦開始管控就成了重要工具。他舉例：伊朗開發者可以把 AI 放上 SingularityNET 協定，但如果他把伊朗人的程式列上自己公司的官方市集，他可能因為跟伊朗做生意被抓。他用 Napster、BitTorrent 類比：去中心化的東西先出現，法規才會跟著這個現實調整。

Ben 2007 年左右認識 David Hanson，兩人都著迷於 Philip K. Dick、都想做出對人類有益的 AGI，差別在於 David 想先做出能讓人類愛上、也懂得回應情感的機器人臉孔；後來 Ben 搬到香港，介紹投資人給 David，讓 Hanson Robotics 落腳香港，兩人也共同創辦了 SingularityNET。

Ben 坦言做機器人第一課就是「機器人永遠是壞的」，Sophia 背後其實是拼裝起來的「會走的骨架」系統，語音辨識常常聽不懂香港腔英文，對話系統混合了規則腳本與神經網路，裡面沒有真正的 AGI。

被問到 Yann LeCun 等人對 Sophia 被過度渲染成 AGI 的不滿，Ben 說如果自己不認識 David，一開始大概也會有同樣的反感；他曾推公司更公開說明 Sophia 怎麼運作，而 David 的看法是就算講清楚，觀眾也不在乎、仍想被錯覺吸引，Ben 說 David 完全說對了，這跟整個媒體產業的邏輯一樣。

Ben 認為「智能」這個概念本身沒那麼自然，若照 Marcus Hutter 對智能的定義（在可運算環境裡最大化可運算的回饋），病毒確實符合；他接著談到團隊正用 OpenCog 的機率推理搭配深度學習，幫醫師比對哪種抗病毒藥物組合對哪些病人有效，並說其中一件可恥的事，是各醫院的臨床試驗資料很難拿到。

Ben 認為多數 AI 博士人才與運算資源被少數幾家大公司吸走，多數醫療研究也被鎖在藥廠內部（他舉 23andMe 把基因資料獨家授權給 GlaxoSmithKline 為例）；這種集中化本身，比「失控的超級 AI 把宇宙變成迴紋針」更值得擔心。

延續前面的說法，Ben 認為大公司作為自組織的實體，大多是 malevolent、psychopathic 的智能，但他特別說不是指裡面的人：裡面多是好心的好人，只是被捲進這種組織形態。他舉自己在 DC 替美國陸軍情報單位 INSCOM 做事的經驗：他當時在政治上強烈反對美軍在伊拉克的作為（例如 Abu Ghraib 的虐囚），但他在那裡認識的人都很友善，真心相信美國在對抗邪惡。他說自認知道什麼對人類最好的菁英小團體，紀錄比整個民主大眾差得多，所以他寧可勉強把信心放在去中心化的民主大眾，並舉冰島與 Linux 為例。

Ben 直白地說死亡是壞事，人類能從苦難裡找到意義不代表苦難本身是好事；他希望活多久能自己選，而不是被迫長生不死或被迫死亡，也主張如果神經科學進步到能調控痛覺，人類同樣該能選擇要不要保留痛苦。

被問到人生意義是什麼，Ben 給出三個詞：joy（快樂本身）、growth（要能不斷變得更好，而不是停在原地）、choice（要有自主的能動性，而不是被完全融進一整團快樂又不斷成長的集體裡）。

Ben 列出幾條路：把各種組織的幹細胞注射回身體、替換老細胞，並用機器學習引導幹細胞分化；細胞外基質會隨年紀變硬，讓器官之間的訊息傳遞變差，他的朋友、Temple 大學的 Christian Schafmeister 設計了 spiroligomer 分子剪刀，可以切斷 glucosepane 等交聯蛋白，但要成熟還要好幾年，就他所知目前沒人資助。他主張要有整合全部生物知識的資料庫、開放資料、大量資金投入 AI 研究，並拿金融危機時給大銀行與保險公司的 4 兆美元對照，認為世界投 10 兆美元做生物 AI 也不至於把經濟搞垮。

Ben 講了自己跟朋友 Bugaj 合寫的一則小說：開發者造出超級 AI 來回答人生意義、自由意志這類大哉問，結果 AI 覺得這些問題很蠢，直接搭太空船離開地球；他自己說比起問一個問題，更想升級自己的心智，好讓自己能理解超級 AGI 的整套世界觀。

Ben 想像自己能分裂成多個版本——一個維持接近現在人類的自己（但可以自由調痛覺、拿掉死亡），另一個把心智徹底跟超級 AGI 融合；他自認是泛心論者，認為意識更多是組織的模式，不完全綁死在特定的生物材質上，上傳後大部分的意識應該還在。

Ben 說現在人類正站在一個分岔點上：做對了能通往一個快樂、成長與選擇都遠超人類想像的仁慈 Singularity，做錯了可能導致全數滅絕。他提到 Elon Musk 也上過這個節目，說 Musk 懂 AGI 會遠比人類聰明，但比他 paranoid 得多，他也不認為 Musk 清楚怎麼靠讓早期 AGI 充滿同理與溫暖，養出愛人類、幫助人類的 AGI；不過他也說，在大企業領導人裡，Musk 懂得比幾乎任何人都多。