EP 762020-02-291:12:48
用物理學家的眼睛看大腦
John Hopfield
Hopfield 從演化留下的怪癖、聯想記憶與能量山谷談起,認為回饋與集體動力才是大腦的關鍵,前饋網路缺了這一塊,也聊到意識、自由意志與死亡。
John Hopfield: Physics View of the Mind and Neurobiology | Lex Fridman Podcast #76在 YouTube 看 ↗
重點6 條
- 演化把小毛病磨成功能:Hopfield 認為生物神經元的各種怪癖會被演化留下來變成有用的特性,人工神經網路卻把這一面整個抹掉;多數人工網路連動作電位都沒有,更別說讓神經元同步。
- 回饋不可少,大腦也沒那麼深:Hopfield 覺得真實系統的運算少不了回饋,大腦不像最深的網路那麼深,電腦網路做得那麼深,可能有一部分是因為機器上容易做的學習是前饋。
- Hopfield 網路講的是學完之後:它說明的是學過的東西如何被取回與補全,不是學習本身;用能量地形上的山谷來想,錯誤的軌跡會被推回正軌,這是 Hopfield 所說的物理式理解。
- 意識目前沒有物理學的入口:Hopfield 轉述 Minsky 的看法:意識是事後向自己解釋已經做完的事;自己對 Crick 談意識的做法不被說服,理由是缺少像孟德爾豌豆那樣的決定性證據。
- 腦的難題是複雜,不是量子:Hopfield 說相關的神經生物學大致可以用古典運動方程式描述,難處在於有 10 的 14 次方個部件的驅動式動力系統。
- 物理與生物的分工:物理要找不受細節影響的解釋,生物學卻是細節說了算;Hopfield 心裡的物理學家說,分子到行為之間大概有尚未找到的方程式,物理也許能幫忙找。
時間軸23 段
Hopfield 說演化會把小毛病磨成功能,人工網路把這面抑制掉了;用泰晤士河上千禧橋行人隨橋晃動而步調一致的例子,說明神經元也可能同步放電。
DNA 複製後,一份保留舊功能,另一份可以漂移出新功能;對話接著拿公司興衰類比演化,並以 IBM 另立獨立單位做第一台 PC 為例。
Hopfield 說適應就是一切,分演化尺度與個體一生的學習;晶片基本上是二維,新皮質是片狀、底下的白質體積約為灰質的十倍,結構決定了什麼容易什麼難。
演化的過程看不到,Hopfield 只能敬畏;一生尺度的發育神經生物學才拆得開,嬰兒期有大量細胞增生,也有最劇烈的細胞死亡。
Hopfield 說自己總是透過物理看世界,父母都是物理學家;教大一物理時要學生理解而不是背例子,並認為前饋網路沒有他心中「理解」的本質。
真實系統離不開回饋,把回饋展開成前饋,規模要指數成長;用腦節律判斷腦還救不救得回來的例子,說明 Google 的系統裡根本沒有這些節律。
Hopfield 描述 AI 與神經生物學一代接一代的接力,估計可能還要再幾代;大型系統有集體特性,人工網路沒用到。
描述一位「五呎十吋、很瘦、背不好的認知科學家」,聽的人就說得出 Geoff Hinton;Hopfield 認為就他所見,智慧行為很大一部分其實就是大型聯想記憶。
三十五年前那個模型是粗糙的物理模型,穩定狀態就像往下坡走;Hopfield 現在關心的是大腦怎麼把每秒一張的影像壓成有用的塊,而不是全存。
前饋網路先學習、再關掉學習去執行,Hopfield 說那不是生物;他自述在物理與生物間來回,理解就是不必交代所有細節也能誠實描述運作,如用風型與颶風,而不是模擬每個分子。
Hopfield 網路沒有回答怎麼學,只回答學過之後,給一部分圖樣如何補出其餘;用山谷與河流的比喻說明偏離的軌跡會被推回,並說這只是糾錯的其中一種比喻。
Hopfield 說它是最長壽的學習系統之一,本質是回饋網路,Hinton 一再回頭用它;它學的是物理上 Hamiltonian(能量函數)的參數。
Hopfield 懷疑電腦網路的深度有一部分是因為機器上容易做的學習只有前饋;以閉上眼睛想棋盤兩分鐘為例,說明沒有輸入還能思考是回饋的作用。
Hopfield 轉述 Minsky:意識被高估,是事後向自己解釋已經做完的事;目擊事件的記憶會被編織得比實際更豐富,並以水門案的 John Dean 為例。
Hopfield 講與 Francis Crick 的對談,Crick 長談孟德爾的豌豆;Hopfield 認為缺少決定性證據,也看不到從物理切入意識的入口。
Hopfield 說相關的神經生物學大致能用古典運動方程式描述,腦的謎在於 10 的 14 次方個部件的驅動式動力系統,而不是量子力學。
吸引子網路就是其他軌跡都向某條路徑收斂;Liouville's theorem 說不能到處收縮;球滾下山谷不必逐步追蹤,是思考穩定行為的比喻。
簡單前饋網路不太能同時支持多個假說;Hopfield 說思考是行動前的心智探索,並以黃昏球滾過街、後面跟著孩子的例子,說明訓練範圍外無從預期。
有些問題要靠大量資料,如宇宙學,但那不是 Hopfield 有洞見的類型;物理要的是不受細節影響的解釋,生物學則靠細節運作。
Hopfield 回顧從一次記錄一個細胞,到如今認為要同時記錄 10 的 4 或 5 次方個;也比較工程師用六顆馬達與生物用兩千條肌纖維控制一肢。
Hopfield 認為擁抱這種寬容的做法能做出更好的機器人;像 Navier-Stokes 方程式取代原子物理,生物也許有尚待找到的方程式,並說自己只能夢物理的夢。
年紀漸長,Hopfield 更覺得一個人的本質在大腦而非身體;寫下的方程式、日記會延續,數位世界裡每個人留下的紀錄也比上一代多得多。
Hopfield 說「意義」跟「理解」一樣滑;氫原子彼此相像,細菌不是,物種的界線也模糊;連思考也不只在新皮質,脊髓同樣在做事。