EP 2252021-09-262:56:42
超導光子打造的類腦運算
Jeffrey Shainline
Jeffrey Shainline 談如何用超導迴路運算、光子傳訊打造類腦硬體,也聊到宇宙為何會演化出科技文明。
Jeffrey Shainline: Neuromorphic Computing and Optoelectronic Intelligence | Lex Fridman Podcast #225在 YouTube 看 ↗
重點6 條
- 矽為何贏了半導體大戰:矽的能隙剛好、天然長出的二氧化矽是絕佳閘極絕緣層,加上元素單純不容易有缺陷,這些特性湊在一起讓矽打敗鍺與化合物半導體。
- 超導性與 Josephson junction:在接近絕對零度時電子會集體進入同一個量子態,電流因此無損耗地一直流動;Josephson junction 就是超導電路裡最基礎、能把電流「量子化」注入迴路的元件。
- 用光傳訊、用電子運算:光子彼此不互相干擾,很適合同時對上萬個連結傳訊而不耗能;電子則擅長運算,Shainline 想把兩者結合成 optoelectronic intelligence。
- loop neuron 的迴路設計:突觸、樹突與神經元本體都用同一種超導迴路元件搭出來,記憶就存在迴路裡循環的電流中,靠疊層晶圓與波導堆出接近大腦規模的連結數。
- 大腦的碎形結構是路線圖:大腦裡神經元做遠距離連結的機率隨距離呈冪律衰減、神經活動也沒有固定的時間尺度,這種空間與時間上的碎形性質被他當成硬體設計的依據。
- 超導性連到宇宙為何有科技:他認為物理常數不只是為了讓生命存在而微調,也可能是為了讓宇宙演化出懂得主動壓縮物質、製造黑洞的科技文明。
時間軸26 段
Lex 請 Shainline 從電晶體與矽半導體的基本物理講起,說明摻雜、閘極怎麼控制電流開關。
矽的能隙剛好、天然長出的二氧化矽是絕佳閘極絕緣層,這些特性湊在一起讓矽打敗鍺與化合物半導體;兩人也聊物理與工程在這類突破裡各自的分量。
在接近絕對零度時,電子集體進入同一個量子態,電流因此可以無損耗地一直流動,這就是超導。
兩段超導線中間夾一個弱連結就是 Josephson junction,電流超過臨界值會把量子化的電流「彈」進迴路,速度可以逼近光速的三分之一。
超導開關雖然快上百倍,但矽早已靠著把電晶體越做越小站穩產業優勢,1970 年代 IBM、90 年代的超導邏輯嘗試最後都沒能撼動它。
數位電路靠時脈與序列運算;大腦沒有時脈,神經元各自非同步放電,是一種網絡式的運算。
電子擅長運算、光子擅長傳訊,這篇論文想把兩者結合;也提到 Rolf Landauer「資訊是物理的」概念,說明傳訊理想上不該改變資訊本身。
電子傳訊要幫整條線充電,連接數一多能耗就暴增;光子彼此不干擾,用波導分光就能同時送到上萬個節點,還能靠超導單光子偵測器接住單一顆光子。
從接近傳統數位電路、到用類比方式操作電晶體模擬神經元,一路到完全放棄半導體、從第一原理重新設計硬體,Shainline 把自己放在光譜最遠的那一端。
神經元做遠距離連結的機率隨距離呈冪律衰減而非指數衰減,這種尺度不變的碎形結構在空間與時間上都存在,被他當成硬體設計的路線圖。
神經元各自專精又彼此共享資訊,靠著跨越空間與時間尺度的巢狀震盪整合起來;皮質、海馬迴與視丘各司其職又互相協調,這種模組化架構也是硬體要模仿的原則。
從 Hopfield network 的吸引子談起,記憶靠改變突觸權重來實現,並區分監督式學習(外部調權重)與非監督式學習(網路自己靠內建物理特性調權重)。
介紹 NIST 波德團隊的跨領域背景,並解釋為什麼矽晶片做不出理想的光源:這是物理限制,不是工程問題。
到了超導的世界,矽只是晶圓的「麵包」,光源不用跟電晶體晶格匹配;加上超導單光子偵測器把所需光強降低了三個數量級,讓整合變得可行。
他認為只要放棄手機、筆電這類消費應用,冷卻到 4 開爾文換來的效能提升,在科學研究與大型系統上完全值得。
突觸把光子轉成電流注入超導迴路,樹突與神經元本體都用同一種基本電路搭出來,靠調整參數產生不同的行為。
大腦異常緊湊,人造神經元卻做不到那麼小,只能靠疊層晶圓與波導在垂直方向把連結數堆上去,才有機會接近大腦的規模。
疫情期間他們把每個突觸、樹突、神經元都簡化成同一種漏電積分放電模型,讓模擬規模衝到百萬神經元等級。
Shainline 坦言自己志不在短期賺錢,但也提到同事在做的九像素影像分類器,以及跟 Tesla Dojo 這類大型訓練系統的比較:優勢是極快,但要先扛過冷卻到 4K 的固定成本。
兩人談工程師對容許失敗的不適應,Shainline 轉述 Turing 說過的話:系統要嘛有智慧、要嘛完美,沒辦法兩者兼得;他也提到自己在自駕車該不該把人排除在外這件事上跟 Elon Musk 有分歧。
從宇宙為何精細調校成適合生命存在,延伸問為什麼這些常數也剛好讓矽這類材料能拿來做電晶體。
介紹 Smolin「黑洞會生出新宇宙」的想法,主張物理常數會演化到最有利於製造黑洞,也就是最會生恆星的那組數值。
Shainline 推算只要把十公斤物質壓縮到夠高密度就能形成黑洞,技術文明造黑洞的效率可能遠勝恆星,光是太陽系裡的廢料就能造出上兆個。
討論費米悖論與稀有地球假說,微生物在宇宙中可能很常見,但能演化出寒武紀大爆發那種複雜生命非常罕見。
兩人收尾討論,如果宇宙真的一路演化出更高層級的智慧,人類或許不是終點,只是這整個過程裡的一個階段。
他描述比人類更強大的認知系統,用超導感測器接收從無線電到伽瑪射線的各種訊號、觀察整個宇宙,甚至可能把地球當成觀察與維護的對象。