化學獎、物理獎都頒給 AI 研究者,哈利認為前者合理、後者無解;後半談特斯拉 We Robot 發表會為何空虛、股價為何大跌。
重點
化學獎沒有爭議。獎項一半給 David Baker,一半給做出 AlphaFold 的 Demis Hassabis 與 John M. Jumper。哈利說 AlphaFold 讓人類對蛋白質的理解大躍進,頒諾貝爾獎「絕對值得」。
物理獎讓他想不通。Hopfield 與 Hinton 的貢獻沒人懷疑,但哈利認為神經網路本來就不是為物理設計的,早期的 Hopfield Network 與 Boltzmann Machine 也只是借了物理概念。Hinton 本人說自己大學修物理課時棄修。
科學獎出現 AI 是好徵兆。哈利把這件事看成 AI 開始幫人類推進科學。他舉 AlphaFold、天氣預測模型、DeepMind 發現新晶體的材料模型為例,也認為 LLM 能靠重組舊概念做出新東西,Test Time Compute 特別適合科學問題。
We Robot 發表會很空虛。CyberCab 的外型與內裝讓哈利驚艷,但他最想看的 FSD 技術進展與 Optimus 進展都沒有。他看觀眾影片後發現,現場的 Optimus 是員工遠端操控的。
馬斯克只留下兩句模糊的話。明年在德州與加州開放 Model 3、Model Y 的 unsupervised FSD,以及 2026 或 2027 年開始量產 CyberCab。哈利的解讀是前者約等於 L4、後者代表軟體已到 L5,但沒有日期與數據,他的信心區間完全沒有縮小。
對特斯拉的看法沒變。股價跌 10%,哈利認為是 Robotaxi 的期待落空,不是發表會做得爛。他仍看好 Robotaxi,對 Optimus 則不樂觀,最大的對手是 NVIDIA 一派的機器人。
時間軸 點時碼從那一段開始
- 休刊與近況上週休刊是因為哈利在韓國,今年只休過兩次。那一週沒有太大的科技新聞,Meta 的影片與音效生成模型、OpenAI 66 億美元的新一輪融資,他都只簡單帶過。
- 得獎者不是本行AI 屬於電腦科學,電腦科學有自己的圖靈獎;今年兩個諾貝爾獎都有 AI 研究員得獎,所以引發討論。
- 化學獎得主一半給華盛頓大學的生物化學家 David Baker,他在 2003 年最早設計出獨特的蛋白質;另一半給 Google DeepMind 的 Demis Hassabis 與 John M. Jumper。
- 蛋白質與 AlphaFold蛋白質的功能由摺出的 3D 結構決定。過去預測一個結構可能要花掉一個博士生四、五年,AlphaFold 幾秒鐘內就能算出,也催生了 Isomorphic Lab。哈利認為這個獎完全合理。
- 物理獎得主John Hopfield 與 Geoffrey Hinton 因為奠定現代神經網路的基礎得獎。Hopfield Network 是最早期的神經網路,Hinton 據此做出 Boltzmann Machine。
- Backpropagation 與 AI 教父Backpropagation 嚴格說不是 Hinton 發明的,他是拿來訓練深度神經網路。哈利說真正的 AI 教父是 Hinton,不是黃仁勳。
- 熬到 2012 年神經網路長期被當成沒有未來的支線。2012 年 Hinton 在多倫多大學的團隊(包括 Ilya Sutskever)用 NVIDIA 的 GPU 訓練深度神經網路做物件辨識,成績驚人;背後還有黃仁勳做 CUDA、李飛飛做 ImageNet。
- 為什麼是物理獎哈利不否認貢獻,質疑的是頒物理獎:神經網路與物理關聯不大,兩個早期模型只是借用物理概念。Hinton 自己也說從沒想過會被提名。
- Peter Thiel 的觀察哈利引 Peter Thiel 常講的:近年科技突破多在數位世界,不在原子世界。他由此聯想到有人抱怨理論物理在研究無法驗證的理論,但自己不是理論物理學家,無法確認。
- AI for Science哈利認為科學獎出現越來越多 AI 研究員是好徵兆。他舉 AlphaFold、NVIDIA 與 Google 的天氣預測模型、DeepMind 發現 200 多萬種新晶體的 GNoME、Meta 的 SAM 在醫療的幫助。
- Sakana AI 的 AI Scientist日本新創 Sakana AI 的論文,用 LLM 走完發想、查新穎性、做實驗、寫論文的流程,只限 Machine Learning。哈利看過內容覺得論文品質很差,但認為方向是對的。
- LLM 能不能創新哈利反駁 LLM 無法創新的說法:Transformer 的每個元件都是舊的,組合對了才成為新東西,並用《黑白大廚》比喻。他認為 2016 年若有 AI scientist,也做得出 Transformer。
- o1 與 Test Time Compute哈利認為讓 AI 回答時思考的做法最適合科學問題。OpenAI 發表的結果是思考越久答案越好,目前看似沒有盡頭,他設想思考一個月或一整年或許能解開物理史上最難的問題。
- We Robot 期待了半年馬斯克四月宣布後哈利就開始期待,發表會從八月八號延到十月十號。他排開行程、空出整個週五,原本打算做一整集,結果前面已經講了半小時諾貝爾獎。
- Robotaxi 承諾與 FSD V12馬斯克 2016 年的 Master Plan Part 2 就提過 Robotaxi,之後年年說明年 FSD 能從 LA 開到 New York,次次落空,哈利比喻成狼來了。今年初 V12 把 30 萬行 C++ 程式碼換成端到端的神經網路,他因此覺得 Robotaxi 有機會在 2 到 3 年或 3 到 5 年內達成。
- 發表會現場在華納兄弟片場,馬斯克乘 CyberCab 登場,簡報空虛到沒有新內容。Robovan 與一整排 Optimus 出場後,現場有 50 台自駕車,其中 20 台是 CyberCab,開放觀眾試乘。
- CyberCab 內裝與兩人座沒有方向盤、油門、後照鏡,只有一面大觸控螢幕。針對只有兩個座位,哈利提到 Franz von Holzhausen 說 90% 的計程車行程是兩人以下,並認為沒有司機後變動成本極低。
- 關鍵沒有秀出來CyberCab 外型驚艷,但哈利最想看的 FSD 進展沒有。他想看 miles per intervention 隨時間進步的圖,馬斯克在 FSD 技術進展上沒有說任何話。
- 馬斯克的兩句模糊話明年德州與加州開放 unsupervised FSD、2026 或 2027 年量產 CyberCab。哈利解讀為 L4 與 L5,但認為時間太模糊、估計還可能再延一兩年。
- Optimus 是遠端操控直播裡 Optimus 動作流暢,倒啤酒、猜拳都行;哈利看了觀眾影片才發現是員工戴著 Apple Vision Pro 遠端操控,連講話都是真人,所以 Optimus 也沒有進展可看。
- 其他補充資訊CyberCab 售價 3 萬美金,一般消費者買得到,並有無線充電。馬斯克還提到 AI5 算力過剩,閒置時可以像 AWS 一樣出租;哈利覺得太遠,大家不當一回事也有道理。
- 空虛但不爛哈利說發表的東西他都覺得酷。股價跌 10%、Uber 漲 10%,他認為是 Robotaxi 的期待落空,短期投資者賣出,不是發表會爛。
- 對特斯拉的長期看法看法與發表會前幾乎一樣。哈利看好 Robotaxi,認為訓練資料與算力都是特斯拉的優勢;Optimus 則沒有明顯優勢,也沒看到從車子轉移到機器人的成果。
- NVIDIA 派系的機器人哈利認為特斯拉最大的對手是 NVIDIA 派系:從 Groot、Isaac Sim 到三種資料 Pipeline、Humanoid Robot Developer Program 一整套包辦,Figure AI 是夥伴,再加上中國廠商的低製造成本。
- 留言 Q&A聽眾想聽 Liquid Foundation Model,哈利說在雷達上,研究後會講;Canvas 模式他還沒有實際體驗。
- NotebookLM 的 Podcast 功能哈利玩過,覺得生成的 Podcast 很好聽,可取代沒有個人色彩的資訊整理型 Podcast,但不認為短期內會取代他。他想試試把論文丟進去,運動或散步時聽。
值得記的話
▶ 12:31「這個值不值得頒一個諾貝爾獎絕對值得」
▶ 25:51「我覺得或許我們看到諾貝爾的科學獎越來越多 AI 研究員的出現是一個好的徵兆」
▶ 31:58「組合起來正好就是這個 Recipe 調對了他就變成一個新的 Transformer 了」
▶ 53:02「硬體真的沒有那麼重要好嗎最重要就是這個 AI 的大腦」
▶ 1:05:18「他們發表的東西沒有爛他只是空虛他只是空而已」
名詞與人物
- AlphaFold
- Google DeepMind 的 AI 模型,輸入氨基酸序列就預測蛋白質的 3D 結構;AlphaFold 2 在 2020 年底推出,今年有 AlphaFold 3。
- Isomorphic Lab
- Google 以 AlphaFold 技術成立的新創,老大也是 Demis Hassabis,目的是發現新藥。
- Hopfield Network 與 Boltzmann Machine
- 最早期的神經網路,前者是 John Hopfield 的,後者是 Geoffrey Hinton 據此做出的;物理獎就是頒給這兩人。
- Backpropagation
- 訓練神經網路時用的演算法,哈利說嚴格來說不是 Hinton 發明的,但他拿來訓練深度神經網路。
- AI Scientist
- Sakana AI 的論文,用 LLM 加一套流程自動發想題目、做實驗、寫論文,哈利認為還很廢但方向對。
- Test Time Compute
- 讓模型回答時多花時間思考的做法;哈利說 OpenAI 的結果顯示思考越久答案越好。
- FSD(Supervised/Unsupervised)
- 特斯拉的輔助駕駛軟體;Supervised 官方分類是 L2,哈利解讀馬斯克說的 Unsupervised 約為 L4。
- miles per intervention
- 兩次人類介入之間平均自動開幾英里,哈利認為是自動駕駛最重要的指標。
- CyberCab
- 這場發表的特斯拉無人計程車,兩個座位、沒有方向盤與油門,售價預告 3 萬美金。
- Robovan
- 同場發表的無人巴士或貨車,最多載 20 人。
- Optimus
- 特斯拉的人形機器人;現場出場的是員工遠端操控的版本。
- Groot
- NVIDIA 的人形機器人 AI 模型,被哈利稱為機器人版本的 FSD。
延伸
- 哈利說想深入了解 AlphaFold 的原理與歷史可以聽 EP39,特斯拉的投資看法與 Robotaxi 在 EP45,NVIDIA 的整套機器人 Stack 在 EP33。
- 哈利提到在 o1 那一集講過 Test Time Compute 可以 Scale。
- 聽眾留言想聽的 Liquid Foundation Model,哈利說研究之後會再講。