← 回到天際線 思考機器第 33 層 / 102

EP 3762023-05-094:14:33 ROUND 3

Wolfram 談符號運算與計算不可約性

Stephen Wolfram

Stephen Wolfram 第四次上節目,從語言模型與符號運算的差異談起,一路聊到 AI 存在風險、真相的定義,最後回到他追了五十年的熱力學第二定律。

Stephen Wolfram: ChatGPT and the Nature of Truth, Reality & Computation | Lex Fridman Podcast #376在 YouTube 看 ↗

重點6 條

  1. ChatGPT 淺而廣,Wolfram Language 深而窄:Wolfram 開場就把兩者的差異講清楚——ChatGPT 是統計式的語言接續,Wolfram Language 則是符號運算,能一步步往下算出從沒被算過的新結果。
  2. 計算不可約性(computational irreducibility)貫穿全場:很多系統的規則再簡單,也只能真的跑過一遍才知道結果。他認為這正是 AI 危不危險、科學能不能預測的根本限制。
  3. ChatGPT 為什麼真的能寫出通順的句子:他把 GPT 比喻成「像亞里斯多德發現邏輯一樣」,從海量語句裡摸出一套比文法更深的「語意文法」;而人類回饋強化學習(RLHF)才是讓它從「還好」變成「令人驚豔」的臨門一腳。
  4. 真相與事實在 AI 時代怎麼定義:他談 Wolfram Alpha 如何靠有程序可循的方式定義事實,也用自己被 ChatGPT 唬弄的糗事(把電影台詞唱成〈瑪莉有隻小羊〉)說明「看起來對」跟「真的對」之間的落差。
  5. AI 會不會失控:對於超級智慧會不會毀滅人類,他不那麼悲觀,理由是計算不可約性本身就代表「一定會有意料之外的角落」;但讓 AI 自己寫程式碼、直接跑在自己電腦上,連他本人都覺得毛骨悚然。
  6. 熱力學第二定律的五十年追尋:從 12 歲讀到一本物理課本開始,他花了五十年才想通「有序變混亂」背後其實是觀察者的計算能力有限;這個想法後來也變成他推導廣義相對論、量子力學、統計力學三大理論的共同基礎。

時間軸26 段

01 01:33
ChatGPT 對比 Wolfram Alpha/Language

Wolfram 說明兩者的核心差異:ChatGPT 是延續人類已經寫過的文字,Wolfram 的系統則是建立符號運算的高塔,能算出從沒被算過的新結論。

02 09:28
符號式表達(symbolic representation)

他解釋人類怎麼把視覺場景、語言這些模糊的東西,轉成電腦能運算的符號結構;這個想法從 1979 年就開始構築,至今用了四十幾年。

03 12:20
Computational irreducibility(計算不可約性)

有些系統即使規則簡單,也沒有捷徑能預知結果,只能真的把計算跑完;他認為這是理解科學、也理解 AI 限制的關鍵現象。

04 21:13
Observer 是什麼

從氣體壓力只在乎分子撞擊的整體效果,到雪花生長模型只抓對了生長速率、卻漏掉真正的形狀,他說明科學模型永遠只抓你在乎的那個切片。

05 34:38
自然語言轉 Wolfram Language

使用者用自然語言描述需求,LLM 生成一小段 Wolfram 程式碼,跑起來錯了還能自己讀錯誤訊息、讀說明文件去除錯,這套工作流程已經在他們的 ChatGPT 外掛裡運作。

06 47:21
Wolfram Language 意外變成「AI 也懂的外語」

他發現當初為了讓人讀得懂而設計的語言,意外也讓 AI 更容易理解;接著談到 ChatGPT 像亞里斯多德發現邏輯一樣,從語句規律裡摸出更深的語意文法。

07 58:52
Motion、hate、eat:詞語的意義

電腦語言要求每個字都有精確定義才能往上疊運算,但自然語言裡像「恨」這種詞從來沒有標準說明書;他藉此談語言本質上的模糊。

08 1:13:26
「ChatGPT 到底在做什麼」

從一次只預測一個字,為什麼能寫出連貫文章,到神經網路辨認 A 和 B 的方式意外跟人類很像,他把這套機制拆解給 Lex 聽。

09 1:27:08
LLM 的極限與危險示範

他直言深度計算不是語言模型擅長的事;接著兩人現場示範,結合 Wolfram Language 生成一套操縱國會議員的攻擊手法,生成速度快得讓 Wolfram 自己都意外。

10 1:31:51
良性版本:AI 家教

同樣的技術換成教育場景就變得正面:AI 能依每個人知識落差客製教學內容;他也提到未來人類會更需要當通才,而非專才。

11 1:36:02
AI 該替人類決定目標嗎

他認為 AI 自己沒有想追求的目標,那必須來自人類社會;真正危險的是「自動建議」,人類會漸漸只是照著 AI 建議行動,而非自己做選擇。

12 1:47:52
AI 存在風險與頂尖智能

他把「一定會有更聰明的 AI」這類論證比作神存在的本體論證;接著討論人類是不是地球上最頂尖的智能,以及貓、狗這些物種的心智其實離人類很遠。

13 2:02:37
AI 會不會像病毒一樣指數失控

他解釋自己樂觀的理由:計算不可約性代表任何攻擊或失控都會撞上意料之外的角落;但話鋒一轉,坦言讓 ChatGPT 生成的程式碼直接跑在自己電腦上,連他都覺得毛骨悚然。

14 2:09:32
Wolfram Alpha 如何定義「事實」

他說明 Wolfram Alpha 判定事實的方式是有程序可循、可被驗證,而不是拍腦袋;也談到計算契約(computational contracts)未來可能需要一個可信的事實仲裁者。

15 2:19:39
記者用 ChatGPT 寫稿的風險

他舉自己被騙的兩個例子:一題數學應用題的最後兩行答案錯了卻沒發現,以及請 ChatGPT 生成 HAL 9000 唱的歌,結果播出來是〈瑪莉有隻小羊〉,說明「看似對但其實錯」最難防。

16 2:28:03
RLHF 是真正的轉折點

他認為人類回饋強化學習才是讓 ChatGPT 從「還好」變成「令人驚豔」的關鍵;也提到當年把早期成果拿給 Marvin Minsky 看,這次對方才說「這次是真的行了」。

17 2:32:05
運算的民主化

他回顧 Mathematica 之前,想跑計算得靠專門的程式設計師;語言模型讓更多從未寫過程式的人也能直接用自然語言驅動運算,門檻大幅下降。

18 2:41:48
誰會是好的提示工程師

他的觀察是擅長寫清楚說明文的人,往往也是好的提示工程師;此外,一些帶點心理操縱意味的提問方式(像心理治療師會用的技巧),對 LLM 也意外有效。

19 2:49:03
CX(computational X)

他主張該教給所有人的不是程式設計這門手藝,而是「用運算思考世界」的素養,正在整理成一份教材,猜測大概一年的課就足夠打好基礎。

20 3:06:49
意識是不是純粹計算

他把電腦從開機到當機的過程類比成人的一生;也提到自己最近做了一次全身 MRI,第一次看到自己大腦的實體結構,形容那種感覺很震撼。討論延伸到 AI 說「我很怕被關掉」究竟是真情緒還是單純複誦網路上學來的說法。

21 3:13:28
AI 冒充人類、取代高風險角色

他們討論 AI 生成的留言、提問甚至「員工」會不會越來越難辨識真假;也談到像自殺防治熱線這類高風險場景,人類在場到底有沒有必要。

22 3:15:48
熱力學第二定律的五十年追尋

他從 12 歲收到一套物理課本、第一次寫程式想重現書裡的分子擴散圖開始講起,一路講到蒸汽機工程師 Sadi Carnot 與物理學家 Ludwig Boltzmann 如何各自碰上這個謎題。

23 3:30:34
Rule 30

他在 1984 年印出一條規則極簡單的胞元自動機(cellular automaton),圖案卻看起來完全隨機;他為此設了懸賞,至今沒人能證明它到底隨不隨機。

24 3:37:22
計算受限的觀察者,推導出三大物理理論

他解釋「計算受限的觀察者」這個概念如何同時推導出廣義相對論、量子力學與統計力學;也談到 Ruliad(所有可能運算的極限)這個物件的存在,在邏輯上是不得不然的。

25 3:47:25
暗物質是這個時代的 caloric

他把暗物質類比成十九世紀的 caloric(熱質)——當年不知道有分子,就假設熱是另一種流體;現在的人知道有粒子,就假設暗物質也是粒子。他猜暗物質其實是空間本身的一種性質,而他想找的是「空間版的 Brownian motion」那種決定性證據。

26 4:09:44
死亡與冷凍人思想實驗

面對終有一死,他說更在意的是自己構思了幾十年的想法能不能提早成真;ChatGPT 的出現,讓他覺得這些想法比原本預期的時間表提早了不少。