← 所有節目科技浪

2024 · EP60 · Google 系列

諾貝爾頒給 AI 與特斯拉無人計程車

2024 年 10 月 14 日 · 76 分鐘

▶ 收聽這一集

原標題:EP60 - 特斯拉萬衆矚目的發表會,有料嗎?諾貝爾物理化學獎都頒給AI,搞錯了嗎?

化學獎、物理獎都頒給 AI 研究者,哈利認為前者合理、後者無解;後半談特斯拉 We Robot 發表會為何空虛、股價為何大跌。

重點

化學獎沒有爭議。獎項一半給 David Baker,一半給做出 AlphaFold 的 Demis Hassabis 與 John M. Jumper。哈利說 AlphaFold 讓人類對蛋白質的理解大躍進,頒諾貝爾獎「絕對值得」。

物理獎讓他想不通。Hopfield 與 Hinton 的貢獻沒人懷疑,但哈利認為神經網路本來就不是為物理設計的,早期的 Hopfield Network 與 Boltzmann Machine 也只是借了物理概念。Hinton 本人說自己大學修物理課時棄修。

科學獎出現 AI 是好徵兆。哈利把這件事看成 AI 開始幫人類推進科學。他舉 AlphaFold、天氣預測模型、DeepMind 發現新晶體的材料模型為例,也認為 LLM 能靠重組舊概念做出新東西,Test Time Compute 特別適合科學問題。

We Robot 發表會很空虛。CyberCab 的外型與內裝讓哈利驚艷,但他最想看的 FSD 技術進展與 Optimus 進展都沒有。他看觀眾影片後發現,現場的 Optimus 是員工遠端操控的。

馬斯克只留下兩句模糊的話。明年在德州與加州開放 Model 3、Model Y 的 unsupervised FSD,以及 2026 或 2027 年開始量產 CyberCab。哈利的解讀是前者約等於 L4、後者代表軟體已到 L5,但沒有日期與數據,他的信心區間完全沒有縮小。

對特斯拉的看法沒變。股價跌 10%,哈利認為是 Robotaxi 的期待落空,不是發表會做得爛。他仍看好 Robotaxi,對 Optimus 則不樂觀,最大的對手是 NVIDIA 一派的機器人。

時間軸 點時碼從那一段開始

  1. 休刊與近況上週休刊是因為哈利在韓國,今年只休過兩次。那一週沒有太大的科技新聞,Meta 的影片與音效生成模型、OpenAI 66 億美元的新一輪融資,他都只簡單帶過。
  2. 得獎者不是本行AI 屬於電腦科學,電腦科學有自己的圖靈獎;今年兩個諾貝爾獎都有 AI 研究員得獎,所以引發討論。
  3. 化學獎得主一半給華盛頓大學的生物化學家 David Baker,他在 2003 年最早設計出獨特的蛋白質;另一半給 Google DeepMind 的 Demis Hassabis 與 John M. Jumper。
  4. 蛋白質與 AlphaFold蛋白質的功能由摺出的 3D 結構決定。過去預測一個結構可能要花掉一個博士生四、五年,AlphaFold 幾秒鐘內就能算出,也催生了 Isomorphic Lab。哈利認為這個獎完全合理。
  5. 物理獎得主John Hopfield 與 Geoffrey Hinton 因為奠定現代神經網路的基礎得獎。Hopfield Network 是最早期的神經網路,Hinton 據此做出 Boltzmann Machine。
  6. Backpropagation 與 AI 教父Backpropagation 嚴格說不是 Hinton 發明的,他是拿來訓練深度神經網路。哈利說真正的 AI 教父是 Hinton,不是黃仁勳。
  7. 熬到 2012 年神經網路長期被當成沒有未來的支線。2012 年 Hinton 在多倫多大學的團隊(包括 Ilya Sutskever)用 NVIDIA 的 GPU 訓練深度神經網路做物件辨識,成績驚人;背後還有黃仁勳做 CUDA、李飛飛做 ImageNet。
  8. 為什麼是物理獎哈利不否認貢獻,質疑的是頒物理獎:神經網路與物理關聯不大,兩個早期模型只是借用物理概念。Hinton 自己也說從沒想過會被提名。
  9. Peter Thiel 的觀察哈利引 Peter Thiel 常講的:近年科技突破多在數位世界,不在原子世界。他由此聯想到有人抱怨理論物理在研究無法驗證的理論,但自己不是理論物理學家,無法確認。
  10. AI for Science哈利認為科學獎出現越來越多 AI 研究員是好徵兆。他舉 AlphaFold、NVIDIA 與 Google 的天氣預測模型、DeepMind 發現 200 多萬種新晶體的 GNoME、Meta 的 SAM 在醫療的幫助。
  11. Sakana AI 的 AI Scientist日本新創 Sakana AI 的論文,用 LLM 走完發想、查新穎性、做實驗、寫論文的流程,只限 Machine Learning。哈利看過內容覺得論文品質很差,但認為方向是對的。
  12. LLM 能不能創新哈利反駁 LLM 無法創新的說法:Transformer 的每個元件都是舊的,組合對了才成為新東西,並用《黑白大廚》比喻。他認為 2016 年若有 AI scientist,也做得出 Transformer。
  13. o1 與 Test Time Compute哈利認為讓 AI 回答時思考的做法最適合科學問題。OpenAI 發表的結果是思考越久答案越好,目前看似沒有盡頭,他設想思考一個月或一整年或許能解開物理史上最難的問題。
  14. We Robot 期待了半年馬斯克四月宣布後哈利就開始期待,發表會從八月八號延到十月十號。他排開行程、空出整個週五,原本打算做一整集,結果前面已經講了半小時諾貝爾獎。
  15. Robotaxi 承諾與 FSD V12馬斯克 2016 年的 Master Plan Part 2 就提過 Robotaxi,之後年年說明年 FSD 能從 LA 開到 New York,次次落空,哈利比喻成狼來了。今年初 V12 把 30 萬行 C++ 程式碼換成端到端的神經網路,他因此覺得 Robotaxi 有機會在 2 到 3 年或 3 到 5 年內達成。
  16. 發表會現場在華納兄弟片場,馬斯克乘 CyberCab 登場,簡報空虛到沒有新內容。Robovan 與一整排 Optimus 出場後,現場有 50 台自駕車,其中 20 台是 CyberCab,開放觀眾試乘。
  17. CyberCab 內裝與兩人座沒有方向盤、油門、後照鏡,只有一面大觸控螢幕。針對只有兩個座位,哈利提到 Franz von Holzhausen 說 90% 的計程車行程是兩人以下,並認為沒有司機後變動成本極低。
  18. 關鍵沒有秀出來CyberCab 外型驚艷,但哈利最想看的 FSD 進展沒有。他想看 miles per intervention 隨時間進步的圖,馬斯克在 FSD 技術進展上沒有說任何話。
  19. 馬斯克的兩句模糊話明年德州與加州開放 unsupervised FSD、2026 或 2027 年量產 CyberCab。哈利解讀為 L4 與 L5,但認為時間太模糊、估計還可能再延一兩年。
  20. Optimus 是遠端操控直播裡 Optimus 動作流暢,倒啤酒、猜拳都行;哈利看了觀眾影片才發現是員工戴著 Apple Vision Pro 遠端操控,連講話都是真人,所以 Optimus 也沒有進展可看。
  21. 其他補充資訊CyberCab 售價 3 萬美金,一般消費者買得到,並有無線充電。馬斯克還提到 AI5 算力過剩,閒置時可以像 AWS 一樣出租;哈利覺得太遠,大家不當一回事也有道理。
  22. 空虛但不爛哈利說發表的東西他都覺得酷。股價跌 10%、Uber 漲 10%,他認為是 Robotaxi 的期待落空,短期投資者賣出,不是發表會爛。
  23. 對特斯拉的長期看法看法與發表會前幾乎一樣。哈利看好 Robotaxi,認為訓練資料與算力都是特斯拉的優勢;Optimus 則沒有明顯優勢,也沒看到從車子轉移到機器人的成果。
  24. NVIDIA 派系的機器人哈利認為特斯拉最大的對手是 NVIDIA 派系:從 Groot、Isaac Sim 到三種資料 Pipeline、Humanoid Robot Developer Program 一整套包辦,Figure AI 是夥伴,再加上中國廠商的低製造成本。
  25. 留言 Q&A聽眾想聽 Liquid Foundation Model,哈利說在雷達上,研究後會講;Canvas 模式他還沒有實際體驗。
  26. NotebookLM 的 Podcast 功能哈利玩過,覺得生成的 Podcast 很好聽,可取代沒有個人色彩的資訊整理型 Podcast,但不認為短期內會取代他。他想試試把論文丟進去,運動或散步時聽。

值得記的話

  • 「這個值不值得頒一個諾貝爾獎絕對值得」

    ▶ 12:31
  • 「我覺得或許我們看到諾貝爾的科學獎越來越多 AI 研究員的出現是一個好的徵兆」

    ▶ 25:51
  • 「組合起來正好就是這個 Recipe 調對了他就變成一個新的 Transformer 了」

    ▶ 31:58
  • 「硬體真的沒有那麼重要好嗎最重要就是這個 AI 的大腦」

    ▶ 53:02
  • 「他們發表的東西沒有爛他只是空虛他只是空而已」

    ▶ 1:05:18

名詞與人物

AlphaFold
Google DeepMind 的 AI 模型,輸入氨基酸序列就預測蛋白質的 3D 結構;AlphaFold 2 在 2020 年底推出,今年有 AlphaFold 3。
Isomorphic Lab
Google 以 AlphaFold 技術成立的新創,老大也是 Demis Hassabis,目的是發現新藥。
Hopfield Network 與 Boltzmann Machine
最早期的神經網路,前者是 John Hopfield 的,後者是 Geoffrey Hinton 據此做出的;物理獎就是頒給這兩人。
Backpropagation
訓練神經網路時用的演算法,哈利說嚴格來說不是 Hinton 發明的,但他拿來訓練深度神經網路。
AI Scientist
Sakana AI 的論文,用 LLM 加一套流程自動發想題目、做實驗、寫論文,哈利認為還很廢但方向對。
Test Time Compute
讓模型回答時多花時間思考的做法;哈利說 OpenAI 的結果顯示思考越久答案越好。
FSD(Supervised/Unsupervised)
特斯拉的輔助駕駛軟體;Supervised 官方分類是 L2,哈利解讀馬斯克說的 Unsupervised 約為 L4。
miles per intervention
兩次人類介入之間平均自動開幾英里,哈利認為是自動駕駛最重要的指標。
CyberCab
這場發表的特斯拉無人計程車,兩個座位、沒有方向盤與油門,售價預告 3 萬美金。
Robovan
同場發表的無人巴士或貨車,最多載 20 人。
Optimus
特斯拉的人形機器人;現場出場的是員工遠端操控的版本。
Groot
NVIDIA 的人形機器人 AI 模型,被哈利稱為機器人版本的 FSD。

延伸

  • 哈利說想深入了解 AlphaFold 的原理與歷史可以聽 EP39,特斯拉的投資看法與 Robotaxi 在 EP45,NVIDIA 的整套機器人 Stack 在 EP33。
  • 哈利提到在 o1 那一集講過 Test Time Compute 可以 Scale。
  • 聽眾留言想聽的 Liquid Foundation Model,哈利說研究之後會再講。