← 回到天際線 思考機器第 12 層 / 102

EP 2252021-09-262:56:42

超導光子打造的類腦運算

Jeffrey Shainline

Jeffrey Shainline 談如何用超導迴路運算、光子傳訊打造類腦硬體,也聊到宇宙為何會演化出科技文明。

Jeffrey Shainline: Neuromorphic Computing and Optoelectronic Intelligence | Lex Fridman Podcast #225在 YouTube 看 ↗

重點6 條

  1. 矽為何贏了半導體大戰:矽的能隙剛好、天然長出的二氧化矽是絕佳閘極絕緣層,加上元素單純不容易有缺陷,這些特性湊在一起讓矽打敗鍺與化合物半導體。
  2. 超導性與 Josephson junction:在接近絕對零度時電子會集體進入同一個量子態,電流因此無損耗地一直流動;Josephson junction 就是超導電路裡最基礎、能把電流「量子化」注入迴路的元件。
  3. 用光傳訊、用電子運算:光子彼此不互相干擾,很適合同時對上萬個連結傳訊而不耗能;電子則擅長運算,Shainline 想把兩者結合成 optoelectronic intelligence。
  4. loop neuron 的迴路設計:突觸、樹突與神經元本體都用同一種超導迴路元件搭出來,記憶就存在迴路裡循環的電流中,靠疊層晶圓與波導堆出接近大腦規模的連結數。
  5. 大腦的碎形結構是路線圖:大腦裡神經元做遠距離連結的機率隨距離呈冪律衰減、神經活動也沒有固定的時間尺度,這種空間與時間上的碎形性質被他當成硬體設計的依據。
  6. 超導性連到宇宙為何有科技:他認為物理常數不只是為了讓生命存在而微調,也可能是為了讓宇宙演化出懂得主動壓縮物質、製造黑洞的科技文明。

時間軸26 段

01 00:33
開場提問

Lex 請 Shainline 從電晶體與矽半導體的基本物理講起,說明摻雜、閘極怎麼控制電流開關。

02 14:59
矽為何贏了半導體大戰

矽的能隙剛好、天然長出的二氧化矽是絕佳閘極絕緣層,這些特性湊在一起讓矽打敗鍺與化合物半導體;兩人也聊物理與工程在這類突破裡各自的分量。

03 22:25
超導性與巨觀量子態

在接近絕對零度時,電子集體進入同一個量子態,電流因此可以無損耗地一直流動,這就是超導。

04 26:59
Josephson junction 與 fluxon

兩段超導線中間夾一個弱連結就是 Josephson junction,電流超過臨界值會把量子化的電流「彈」進迴路,速度可以逼近光速的三分之一。

05 35:22
超導邏輯為何沒取代矽

超導開關雖然快上百倍,但矽早已靠著把電晶體越做越小站穩產業優勢,1970 年代 IBM、90 年代的超導邏輯嘗試最後都沒能撼動它。

06 38:16
數位運算與大腦運算的差別

數位電路靠時脈與序列運算;大腦沒有時脈,神經元各自非同步放電,是一種網絡式的運算。

07 42:54
optoelectronic intelligence 的核心想法

電子擅長運算、光子擅長傳訊,這篇論文想把兩者結合;也提到 Rolf Landauer「資訊是物理的」概念,說明傳訊理想上不該改變資訊本身。

08 51:19
為什麼用光傳訊比電好

電子傳訊要幫整條線充電,連接數一多能耗就暴增;光子彼此不干擾,用波導分光就能同時送到上萬個節點,還能靠超導單光子偵測器接住單一顆光子。

09 58:11
神經形態運算的光譜

從接近傳統數位電路、到用類比方式操作電晶體模擬神經元,一路到完全放棄半導體、從第一原理重新設計硬體,Shainline 把自己放在光譜最遠的那一端。

10 1:01:52
大腦的網路結構與冪律碎形

神經元做遠距離連結的機率隨距離呈冪律衰減而非指數衰減,這種尺度不變的碎形結構在空間與時間上都存在,被他當成硬體設計的路線圖。

11 1:07:39
把大腦動態原則做進硬體

神經元各自專精又彼此共享資訊,靠著跨越空間與時間尺度的巢狀震盪整合起來;皮質、海馬迴與視丘各司其職又互相協調,這種模組化架構也是硬體要模仿的原則。

12 1:13:42
記憶怎麼存在網路裡

從 Hopfield network 的吸引子談起,記憶靠改變突觸權重來實現,並區分監督式學習(外部調權重)與非監督式學習(網路自己靠內建物理特性調權重)。

13 1:21:18
從通訊網路切入

介紹 NIST 波德團隊的跨領域背景,並解釋為什麼矽晶片做不出理想的光源:這是物理限制,不是工程問題。

14 1:33:44
超導電路讓光源整合變簡單

到了超導的世界,矽只是晶圓的「麵包」,光源不用跟電晶體晶格匹配;加上超導單光子偵測器把所需光強降低了三個數量級,讓整合變得可行。

15 1:38:21
為什麼願意忍受 4K 的低溫

他認為只要放棄手機、筆電這類消費應用,冷卻到 4 開爾文換來的效能提升,在科學研究與大型系統上完全值得。

16 1:42:49
loop neuron 的迴路設計

突觸把光子轉成電流注入超導迴路,樹突與神經元本體都用同一種基本電路搭出來,靠調整參數產生不同的行為。

17 1:48:06
為何一定要往第三維度疊

大腦異常緊湊,人造神經元卻做不到那麼小,只能靠疊層晶圓與波導在垂直方向把連結數堆上去,才有機會接近大腦的規模。

18 1:55:02
用一顆微分方程模擬整個網路

疫情期間他們把每個突觸、樹突、神經元都簡化成同一種漏電積分放電模型,讓模擬規模衝到百萬神經元等級。

19 1:58:54
神經形態硬體能不能做機器學習

Shainline 坦言自己志不在短期賺錢,但也提到同事在做的九像素影像分類器,以及跟 Tesla Dojo 這類大型訓練系統的比較:優勢是極快,但要先扛過冷卻到 4K 的固定成本。

20 2:11:29
完美與智慧只能二選一

兩人談工程師對容許失敗的不適應,Shainline 轉述 Turing 說過的話:系統要嘛有智慧、要嘛完美,沒辦法兩者兼得;他也提到自己在自駕車該不該把人排除在外這件事上跟 Elon Musk 有分歧。

21 2:13:39
物理常數為何剛好能孕育科技

從宇宙為何精細調校成適合生命存在,延伸問為什麼這些常數也剛好讓矽這類材料能拿來做電晶體。

22 2:20:27
Lee Smolin 的宇宙天擇論

介紹 Smolin「黑洞會生出新宇宙」的想法,主張物理常數會演化到最有利於製造黑洞,也就是最會生恆星的那組數值。

23 2:33:06
用科技主動製造黑洞

Shainline 推算只要把十公斤物質壓縮到夠高密度就能形成黑洞,技術文明造黑洞的效率可能遠勝恆星,光是太陽系裡的廢料就能造出上兆個。

24 2:38:25
外星文明有多少

討論費米悖論與稀有地球假說,微生物在宇宙中可能很常見,但能演化出寒武紀大爆發那種複雜生命非常罕見。

25 2:48:17
人類會不會只是墊腳石

兩人收尾討論,如果宇宙真的一路演化出更高層級的智慧,人類或許不是終點,只是這整個過程裡的一個階段。

26 2:53:40
想像超越人類的認知系統

他描述比人類更強大的認知系統,用超導感測器接收從無線電到伽瑪射線的各種訊號、觀察整個宇宙,甚至可能把地球當成觀察與維護的對象。