EP 1622021-02-182:39:15 ROUND 2
傳奇工程師談設計、失敗與意識
Jim Keller
傳奇晶片架構師 Jim Keller 談設計哲學與 Tenstorrent 新賭注,也聊失敗、愛與意識到底是什麼。
Jim Keller: The Future of Computing, AI, Life, and Consciousness | Lex Fridman Podcast #162在 YouTube 看 ↗
重點6 條
- 工程與理論的分野:Jim 認為好設計是理論與工程的結合,多數電腦設計工作其實是把已知方法做到位,真正的突破反而常來自願意把最基礎的環節做到極致的工匠精神。
- 指令集之爭沒有想像中重要:談 x86、ARM、RISC-V 三種指令集架構的權力結構——x86 由 Intel、AMD 共同持有,ARM 只授權不開放修改,RISC-V 完全開源但也可能因此分裂——但他認為指令集本身其實演化得很慢。
- 近看 Steve Jobs 與蘋果的政治:他側寫在蘋果透過主管 Mike Culbert 間接感受到的 Jobs:擅長判斷人、堅信「說做不到」本身就是錯的;也談組織一旦走向秩序就很難回頭,混亂反而是生產力的必要成分。
- 賭圖運算會贏 GPU:他認為 GPU 的底層架構是為了在每個像素上跑著色程式而生,不是天生拿來跑神經網路的計算圖;加入 Tenstorrent 就是想做出原生支援計算圖的硬體。
- 把失敗當養分,不是恥辱:談到自己在早期 Alpha 處理器 EV5 上犯的錯誤一度讓他很難為情,後來才體會到那不是拿來定義自己的標準,而是理解這個領域怎麼運作的過程。
- 意識、愛與死亡都只是功能:後半段他從工程師的角度拆解意識與愛,認為愛是讓人保持警覺與投入的功能性機制,意識則是大腦替自己編出來、慢半拍的敘事。
時間軸24 段
Jim 認為好設計是理論與工程的結合,多數電腦設計工作其實是把已知方法做到位,真正的突破常來自願意把最基礎的環節做到極致的工匠精神。
聊到 Brendan Eich 十天寫出 JavaScript 的故事,兩人認為它能贏是因為夠簡單、能直接嵌進網頁執行,而不是設計得多完美。
談 x86、ARM、RISC-V 三種指令集架構的權力結構:x86 由 Intel、AMD 共同持有,ARM 只授權不開放修改,RISC-V 完全開源但也可能因此分裂;Jim 認為指令集本身其實演化得很慢,沒那麼關鍵。
Jim 在蘋果時只跟 Jobs 打過兩次招呼,多半透過主管 Mike Culbert 間接感受他的風格:擅長判斷人、堅信「說做不到」本身就是錯的,但也坦言自己不真的懂電腦硬體細節。
他提到父親是機械工程師,從小看他隨手畫出整座橋,也養成自己面試工程師時要求對方到白板畫出整個系統的習慣,藉此判斷對方是不是真的理解自己做的東西。
他把「堅持完美到不肯交付」和「什麼都因為趕時程被砍掉」都視為失敗,認為好的設計要能容許沒做完的點子先放著,等時間到了再撿回來用。
回顧自己在 DEC 做的 Alpha 處理器 EV5、EV6,坦言當年對其中的錯誤羞於啟齒,後來才體會到那些失敗才是真正學到東西的地方。
他認為晶片本身的進步只是「緩慢的那條線」,AI 訓練效能真正暴衝的來源是能同時調度的電腦數量,從一台到一千台是完全不同的擴張方式,擴張過程往往是效率先變差、才換來更大的規模。
他把電腦分成「跑序列程式」與「跑平行程式」兩種,認為神經網路其實是第三種、以計算圖為核心的東西;GPU 只是把圖硬套進像素運算的模型裡去模擬,Tenstorrent 想做的是讓硬體原生支援計算圖。
他認為 Chris Lattner 的本事是不斷替愈來愈複雜的軟體堆疊找到正確的抽象層,從 LLVM、Swift 到 MLIR 都是同一件事;MLIR 後來也影響了 Tenstorrent 自己的軟體架構設計。
他解釋 GPU 的三角形光柵化與著色程式設計,本質上是替每個像素獨立跑程式,跟計算圖需要的資料搬移完全是兩回事;也評論 NVIDIA 跨進車用市場是拿既有 GPU 硬套,不是重新設計。
談到 Tesla 自動駕駛從仰賴電腦視覺規則轉向全面依靠神經網路的過程,以及 Andrej Karpathy 說的「資料引擎」——不斷找出模型犯錯的情境、餵回去訓練,是這套方法真正的核心。
他引用一場演講的說法,把人類理解物理的方式分成好幾個世代——從直覺、到公式、到程式,一路推到可能存在一種完全無法被解釋、只能被更聰明的東西理解的層次。
如果能重新設計人腦,他會想拿掉「只能同時記住七個數字」這種限制,也好奇為什麼大腦皮層只有六七層神經元那麼薄,卻能做出這麼多事。
他形容自己會在睡前把想解決的問題「放進腦子裡」,藉此提高作夢時繼續處理那個問題的機率,醒來後再把夢裡想到的東西抓回現實世界用。
他認為意識其實是大腦事後編出來的敘事,而且比真實發生的事晚了大約半秒;明明底層是上百億個神經元同時平行運作,感受到的卻是單一、線性的思緒。
談到姻親 Jordan Peterson 因苯二氮平類藥物(benzodiazepine)戒斷出狀況,解釋這類藥物長期服用會深度改變腦內神經傳導物質受體的數量,貿然停藥或換藥都可能引發嚴重的戒斷反應。
他從演化的角度看這場疫情,認為病毒與細菌之間永無止盡的軍備競賽本來就是生物運作的常態,人類的性生殖某種程度上也是為了對抗病原體而演化出的機制。
他認為華爾街散戶對戰避險基金這件事,外界看到的大概只是全貌的一小部分,真正的贏家可能不是媒體聚焦的那些人;也批評 Robinhood 執行長明顯把清算系統當成黑箱看待,才會在規模爆衝時措手不及。
他建議年輕人先搞清楚自己真正喜歡什麼,不要被上一代的安排拖著走,也不要因為想合群就重複別人的意見;談到自己 26 歲第一次陷入「這樣就是全部了嗎」的低潮,靠著在生活裡留一點空間熬過去。
他認同 Steve Jobs 對頂尖人才的堅持,但也提醒大公司裡永遠需要願意把「瑣事」做好的人,重點是組織要懂得獎勵這種人,又不讓他們掌握主導權。
他把愛講成一種讓人不會對生活麻木的機制——因為在乎,才會持續注意到細微的變化;也認為陷入愛與長久的愛是不同階段,不必為了懷念前者而否定後者。
他後悔早年把別人的惡意行為看得太個人,後來才懂多數人只是在應付自己的狀態,不是真的針對你;也談到在蘋果才第一次見識到公司政治可以操作到什麼程度。
被問到希望怎麼被記得時,他說比起被稱為傳奇,更在意女兒曾經偷偷編輯他的維基百科頁面說他是「傳奇與大師」;也半開玩笑說金字塔比隕石坑酷,因為五千年後大家還在討論它。