哈利拆解黃仁勳在 GTC 主題演講的故事線,再逐項點評 Groq LPU、DLSS 5、自駕與開源模型,最後談自己怎麼看 NVIDIA 股票,並補上 Terafab 發表會的新資訊。
重點
兩個主軸的故事。哈利認為這場演講最關鍵的是兩件事。一是把 NVIDIA 包裝成「垂直整合、橫向開放」的公司,二是在 AI 推論市場強調自己的競爭力。黃仁勳的起點照例是先把餅畫到整個加速運算市場,不只 AI。
貴也比較划算。黃仁勳的回應是,AI 公司的土地與電力有限,同樣的電力 NVIDIA 能跑出多 10 倍的 token,所以別家晶片就算免費也不划算。哈利補充,這個論點的前提是資料中心永遠有做不完的工作,對一般中小企業與小型 GPU 雲端不一定成立。
Groq 是加購,不是萬靈丹。LPU 用 SRAM,一顆只有 500MB,Rubin 則有 288GB 的 HBM。NVIDIA 的做法是把推論拆成 Prefill 與 Decode,後者交給 LPU。哈利說這只在低延遲場景有價值,一般 ChatGPT 式的用量直接用 Vera Rubin 就好。
DLSS 5 引發玩家反彈。這代是直接用 AI 重新生成最終畫面,玩家嫌它改掉原作畫風、有 AI 感。哈利個人覺得多數 Demo 好看非常多,認為遊戲畫面的未來就是 AI。
逐項點評其他發表。NemoClaw 主打更安全,Alpamayo 與特斯拉 FSD 的路線相反且訓練資料量差很多,Nemotron 在西方開源模型裡哈利認為已是王者。太空資料中心只用了 30 秒帶過。
對 NVIDIA 股票的三種心態。哈利認為短期被低估所以會持續買進,但不想長期抱著,因為他覺得 GPU 本質上是通用運算裝置;同時也不想全部賣掉,因為他看好黃仁勳這個人。結尾補了 Terafab 發表會的細節與他上週分析的缺漏。
時間軸 點時碼從那一段開始
- 本集預告這集先聊上週的 GTC 與 NVIDIA 這間公司,最後補上馬斯克當天早上的 Terafab 發表會。
- 黃仁勳怎麼講故事了解 CEO 怎麼講公司的故事,就能看出他認為護城河在哪。哈利點出兩個關鍵:新包裝與推論競爭力。
- 把餅畫成加速運算黃仁勳打的是整個加速運算市場,GPU 是通用運算裝置,除了生成式 AI,還有舊的 CPU 伺服器要換成 GPU。
- 垂直整合、橫向開放從晶片、互連、網路、機櫃到軟體與開源模型全部自己做,又賣給所有人。哈利用蘋果與 Intel 對照,說 NVIDIA 兩邊的優點都有。
- 推論的敘事Reasoning 與 Agentic 各把需求拉高 100 倍,兩年成長一萬倍。大家真正想知道的是 NVIDIA 能吃下多少推論市佔。
- ISO POWER 比較圖電力固定時,Rubin 比 Blackwell 在 NVL72 上吞吐量高 2 倍到 35 倍,黃仁勳的解讀是 1GW 資料中心營收可成長五倍。
- 哈利對論點的保留論點成立的前提是工作永遠做不完。哈利用牛肉麵真空包工廠比喻,需求不確定的小業者買最貴的機器未必划算。
- Groq LPU 融入 NVIDIAGroq 以雇用全員加授權的方式併入 NVIDIA。LPU 用 SRAM 一顆 500MB,Rubin 有 288GB HBM,一個極快、一個吞吐量大。
- Prefill 與 Decode 拆分Prefill 吃算力、Decode 吃頻寬,所以前者給 Vera Rubin、後者給 LPU。8 顆 Groq 晶片組成 LP30 模組,由 Dynamo 軟體分配工作。
- LPU 只在低延遲有用延遲與 Batch Size 要取捨。一般用戶對延遲不敏感用不到 LPU,付費的 Agentic 場景才派得上用場,哈利說它就是個加購方案。
- DLSS 5 與玩家反彈這代直接用 AI 重新生成最終畫面,被 NVIDIA 稱為光追之後最大的突破,玩家嫌它改變畫風、有 AI Slop 的感覺。
- 哈利看 DLSS 5他覺得多數 Demo 好看非常多,現有遊戲畫面很多是硬體限制下的妥協,遊戲引擎未來會變成提供 AI 定錨。
- NemoClaw 與 OpenClaw閃電回合第一項。NemoClaw 是強化安全性的 NVIDIA 版 OpenClaw,哈利說 NVIDIA 是 OpenClaw 熱潮的大贏家。
- Alpamayo 對 FSDAlpamayo 是 VLM 優先,FSD 是端到端優先,路線相反。Alpamayo 訓練資料約 8 萬小時,哈利也談了 Robotaxi 的進度。
- Nemotron 開源王者同量級約 120B 的 Nemotron Super 很有競爭力,採 Transformer 與 Mamba 混合架構,還有更大的模型尚未發表。
- 太空資料中心黃仁勳只用 30 秒介紹抗輻射的 Vera Rubin 晶片。哈利猜他想表態有參一腳,但太空這塊會被馬斯克壟斷。
- 對 NVIDIA 的三種心態短期被低估所以持續買進,GPU 本質上不是為 AI 設計所以不長期抱,但黃仁勳太偏執所以也不全賣。非財務建議。
- Terafab 的細節證實要從零自己做,蓋在德州,邏輯、記憶體與封裝放在同一個廠房,目的是加速晶片迭代。
- 20% 地球、80% 太空馬斯克說產出 20% 給地球用、80% 給太空,與哈利上週預測幾乎 100% 太空用不同,差在對 Optimus 產量的假設。
- 每年 1TW 的 AI 算力目標是全球目前年產量的 50 倍,地面電力撐不起,所以一定要在太空。哈利說發表會多是重申夢想,缺細節。
- 上週分析的缺漏哈利自認大方向正確,但漏了供應鏈(EUV 光刻機訂單)與良率提升的風險,之後會整理聽眾回饋再更新。
值得記的話
▶ 38:29「它不是一個 NVIDIA 推論的萬靈丹」
▶ 45:34「你今天遊戲畫面要持續進步下去,唯一的方法就是靠 AI 就真的,AI 就是遊戲畫面的未來」
▶ 48:02「這個技術只有越來越強這條路可以走它不會越來越爛了」
▶ 1:03:11「我不會想要直接清倉這種程度因為我覺得是值得投資黃仁勳這個人的」
▶ 1:07:23「馬斯克的太空資料中心計畫跟 TERRAFAB 計畫是完全綁定的一個計畫」
名詞與人物
- GTC
- NVIDIA 每年的大會,這集談的是上週黃仁勳約兩個半小時的主題演講。
- 垂直整合、橫向開放
- 黃仁勳這次對 NVIDIA 的新包裝:整個技術堆疊自己做,又開放賣給各種客戶。
- ISO POWER
- 黃仁勳常用的比較圖,固定電力供給,比各代 GPU 的吞吐量。
- Groq LPU
- Groq 的語言處理單元,用 SRAM、延遲極低但容量小,已併入 NVIDIA。
- Disaggregated Inference
- 解耦合推論,把 Prefill 與 Decode 拆到不同硬體上跑。
- Dynamo
- NVIDIA 的軟體,負責在軟體層分配拆開後的推論工作。
- DLSS 5
- 直接用 AI 重新生成最終遊戲畫面的新一代技術,玩家反彈很大。
- NemoClaw
- NVIDIA 版的 OpenClaw,主打強化安全性。
- Alpamayo
- NVIDIA 的開源自駕模型,VLM 優先的做法,與特斯拉 FSD 路線相反。
- Nemotron
- NVIDIA 的開源 LLM 系列,採 Transformer 與 Mamba 混合架構。
- Terafab
- 馬斯克要蓋的晶圓廠,邏輯、記憶體、封裝同廠,產能與太空資料中心綁定。
延伸
- 哈利提到 Rubin 這一代做了哪些改進,在 EP122 有比較詳細的介紹。