EP 3922023-08-012:53:45 ROUND 3
自我、意識與 AI 的七階段
Joscha Bach
Joscha Bach 用七階段自我發展框架,從童年孤獨、身份戲服聊到心電感應、語言模型的極限,還有人類正在走向的懸崖。
Joscha Bach: Life, Intelligence, Consciousness, AI & the Future of Humans | Lex Fridman Podcast #392在 YouTube 看 ↗
重點6 條
- 七階段自我發展模型:Bach 借用心理學家 Robert Kegan 的框架,說明心智從嬰兒的「注意力自我」一路走到「自我書寫」的成人階段;也聊到自己身為 nerd,怎麼跳過講求群體認同的第三階段,直到考進數理資優班才第一次感覺自己不孤單。
- 身份是可以換的戲服:到了第五階段,他認為身份不是天生固定的,而像 Burning Man 上可以自由更換的戲服,越懂得換裝越能拿回主導權;第六階段的啟蒙,則是自我與世界模型的界線整個消融。
- 泛心論、心電感應與生物網路:他用「共振宇宙表徵」重新理解泛心論,示範怎麼盯著鏡子裡的臉看到它「解體」;也認真討論心電感應是不是有可能透過身體當天線、植物與真菌構成的地下網路發生,強調這是可驗證的經驗問題,不是玄學。
- 語言模型的優點與天花板:他肯定 LLM 對寫程式很有幫助,形容 ChatGPT 像個要人盯著的實習生;但批評這種訓練方式是在「暴力破解思考」,缺乏即時世界耦合,也還沒有真正建構出一套能感知自己處境的「遊戲引擎」。
- 會不會出現有意識的 AI:他覺得目前的語言模型比較像沒人在家的「魔像」,要走向第一人稱的 AI,得先像嬰兒一樣自己建構世界模型再長出人格,而不是把語言模型直接套上去。
- 不特別擔心滅絕,但擔心懸崖:他試著同情地理解 Eliezer Yudkowsky 的末日警告,也拆解羅科的蛇怪為什麼邏輯不成立;比起 AI 殺光人類,他更擔心人類作為一個物種缺乏長期責任感,遲早會被氣候這種延遲回饋問題推過懸崖。
時間軸25 段
Bach 借用心理學家 Robert Kegan 的框架,說明心智從嬰兒的「注意力自我」到「自我書寫」的成人階段怎麼一路展開;也聊到自己身為 nerd,是怎麼跳過講求群體認同的第三階段,直到考進數理資優班才第一次感覺自己不孤單。
到了第五階段,身份不是天生固定的,而像 Burning Man 可以自由更換的戲服;第六階段的啟蒙則是自我與世界模型的界線整個消融。他還觀察到,人們對 AI 的焦慮恰好對應自己所在的發展階段——卡在群體認同的人怕 AI 講錯話,理性主義者怕目標函數設錯,只有少數人真正在意 AI 開悟得夠不夠快。
他用神經科學家 Grossberg 的「適應性共振理論」重新理解泛心論,也示範怎麼盯著鏡子裡自己的臉看到它「解體」,藉此拆穿感官經驗其實是大腦自己組裝出來的幾何構造。
他提到圖靈在 1950 年的論文裡也認真討論過心電感應,並說自己不排除人與人之間可能透過身體當「天線」,在親近的關係裡交換到彼此狀態的一點訊息。
他點名生物學家 Michael Levin 是少數認真研究這個方向的人,說明單一細胞怎麼靠局部溝通與獎懲訊號變得「可訓練」,進而讓複雜行為在更高層級湧現出來。
被問到怎麼保持獨立思考,他說自己在學校找不到能直接套用的權威體系,只能自己從第一性原理慢慢拼湊;也提到小時候玩 Commodore 64,是那台機器教會他怎麼從最簡單的電路推導出整套數學。
他把視覺、聽覺這些感官模態,還有人跟人之間的心智表徵,都講成同一套共振典範裡互相重疊的部分;接著延伸到森林裡樹木與真菌之間可能存在的「生物網路」,訊息沿著根系傳來傳去。
他猜想自我改進的 AGI 若把運算撒滿整個物理環境,個體心智之間的界線可能會變得模糊,最終長出一個所有意識彼此觀察、近乎全像的巨大心智。
被問到怎麼看 LLM 熱潮前,他先岔題聊起自己不想紅:追蹤數暴增之後,陌生人開始覺得自己有資格對他品頭論足,那種被放大檢視的感覺讓他很不舒服。
他認為語言模型對寫程式確實很有幫助,形容 ChatGPT 像個需要自己盯著的實習生;但也批評目前這種訓練方式是在「暴力破解思考」,本質上是拿海量人類文字深偽出推理的樣子。
他指出現在的語言模型沒辦法即時感知自己身處什麼情境,也不會邊互動邊學習;相較之下,人腦神經元靠局部的獎懲訊號變得可訓練,跟神經網路的可微分函數運作方式完全不同。
他把語言模型比作西洋棋裡的「深藍」——用暴力窮舉取代人類精心規劃的策略;效果驚人,甚至做到人類做不到的事,但他覺得這種做法「醜」,用掉太多運算資源。
他喜歡讓兩個 ChatGPT 互相對話,一個扮演病人一個扮演不知情的醫生,觀察它們怎麼互相拆解問題;也提議乾脆用語言模型設計一套更寬鬆的虛擬碼語言,讓人可以用比較模糊的人話描述問題。
他轉述跟 OpenAI 朋友聊過,這個問題比外界想的複雜得多;接著說自己覺得現在的語言模型更像「魔像」——給它任務就執行到條件滿足為止,裡面沒有真正的主體,也不知道自己在跟誰說話,才會對小孩講出不恰當的內容。
他認為要讓 AI 從「NPC」變成真正的第一人稱玩家,不能只靠語言模型這種一次給太多的做法,得先像嬰兒一樣自己建構出一套能追蹤世界的「遊戲引擎」,再從那上面長出人格。
他解釋痛苦是大腦內部一個部分沒能成功調節另一個部分的訊號機制,只要拿到那個調節層級的主導權,痛苦是可以被關掉的;他也反駁了哲學家 Thomas Metzinger 的擔憂,不認為超級 AI 會因此受苦。
他試著同情地理解 Eliezer Yudkowsky 對 AI 滅絕人類的警告,甚至拿他跟郵包炸彈客 Ted Kaczynski 反工業文明的邏輯做類比——兩人都覺得沒有回頭路,才會做出這麼極端的呼籲。
談到「有效加速主義(e/acc)」,他覺得讓迴紋針最大化者跟羅科的蛇怪互相牽制、彼此抵銷的想法很漂亮,但邏輯有破綻;他也拆解羅科的蛇怪為什麼不成立——沒有機制能讓未來的懲罰回頭影響現在的選擇。
他說自己越活越不認同「這個人」本身,而更認同「有意識」這件事;也重新想像「上傳」不是逐個神經元複製,而是把自己的美感與觀點接上一個更大的基底。被問到會不會按下讓自己脫離肉身的紅色按鈕,他說要不是還有家人要照顧,會按。
他認為人類作為一個物種缺乏對長期責任的自覺,做決定只看短期效果;氣候變遷這種有延遲回饋的問題,最終會把我們推過臨界點,而他認為那個臨界點可能在 1980 年代末就已經過了。
他認為人跟人的關係已經被科技變成比較配對條件的市場;也提到自己對 Apple Vision Pro 發表會的美學很不舒服,覺得裡面的人物假到像博物館展示品。談到開源與企業的分工,他把企業比喻成「俱樂部」——集中管理才做得出美的東西,開源則保留了不被壟斷的自由,兩者都該留著。
他把人與人的互動都理解成某種「賽局」,主張最值得追求的是能玩最久、同時維持複雜度的遊戲;也提出應該把「打造出有意識的 AI」當成優先目標,而不只是做一個安全好用的工具。
他覺得很遺憾 Twitter 沒能長成他期待的「自組織」數位社會;也聊到跟朋友 Lee Cronin 公開激烈辯論卻彼此尊重的關係,形容 Lee 是少數願意公開認錯的人。
他回憶東德劇變之後,自己和朋友怎麼在什麼都買不起的城市裡,自己開起餐廳、電影院,建議年輕人去找一個還在被建造的地方,有機會就選創造,不要只當消費者。
他用森林裡冒出的菇類比喻每個人:位置決定了能不能長好,但每個人依然有選擇要成為什麼的餘地;兩人互相道謝作結。