Gemini 3 完全靠 TPU 訓練、Meta 傳聞要買 TPU，網路上吵成兩派。哈利先把兩種晶片的設計、軟體與規格講清楚，再看市場動向和自己的預測。
重點
兩個消息引爆討論。Google 完全用自家 TPU 訓練出 Gemini 3，加上市場爆料 Meta 要向 Google 買 TPU 算力，第二年還要搬進自己的資料中心。哈利嫌網路上討論太極端，也夾雜很多對 TPU 的錯誤認知。
人海戰術對流水線。GPU 是通用的，靠大量運算核心平行處理，彈性大；TPU 從 2013 年起就只為 AI 設計，資料流過脈動陣列，省下反覆存取暫存器的時間與能源，晶片面積也更集中在運算上。代價是彈性差，而且非常依賴編譯器。
TPU 沒有想像中僵硬。Sparse Cores 處理 MoE 的稀疏性，Pallas 讓開發者繞過 XLA 寫底層 kernel。哈利認為 Pallas 是 TPU 可程式化的一大步，但生態系跟 CUDA 還有差距。
規格與系統都不輸。Ironwood 對標 GB200，單看規格每瓦效能差不多；系統層面 TPU 可以把 9216 個連成一個 SuperPOD。哈利提醒 Ironwood 公開資料很少，要等明年才有定論，另外 TPU 不支援原生 FP4。
市場訊號。Anthropic 買 100 萬張 TPU，哈利引 SemiAnalysis 的圖說 TPU 在 Anthropic 算力裡已接近 20%；他也提到 NVIDIA 的 X 文與投資 OpenAI，認為 NVIDIA 確實感受到威脅。
哈利的判斷。短期一兩年 TPU 會持續吃 NVIDIA 的餅，大約 10% 上下；中期三到五年看 Google 要把 TPU 賣到什麼程度，以及老黃能不能再往前跳一大步。
時間軸 點時碼從那一段開始
- TPU 為什麼突然爆紅排除 Google 之後，AI 運算需求哈利說有 95% 跑在 NVIDIA GPU 上；這週 Gemini 3 被當成 Tier 1 模型，而且完全用 TPU 訓練。
- Meta 傳聞買 TPU爆料說 Meta 第一年透過 GCP 租用，第二年把 TPU 搬進自己的資料中心；之前最大的案子是 Anthropic 的 100 萬張。
- 兩派吵得太極端The Information 報 Google 高層預估 TPU 可拿走 NVIDIA 10% 的年營收。哈利批評雙方都非黑即白，也有很多錯誤資訊，所以這集先講原理再看格局。
- GPU 怎麼變成通用晶片從遊戲 3D 加速卡出發，老黃為了擴大 TAM 把 GPU 通用化，2006 年推出 CUDA；十幾年沒有成績，直到生成式 AI 才真正紅起來。
- TPU 為 AI 而生2013 年 Google 內部開案，由 Jeff Dean 與 Jonathan Ross 帶頭，Ross 後來離開創立 Groq。起因是試算發現，如果所有 Android 用戶每天用三分鐘語音辨識，資料中心就要 double。
- 脈動陣列對 SIMTTPU 基於 Systolic Array，GPU 基於 SIMT。哈利把 GPU 比成人海戰術，TPU 比成自動化流水線。
- 蓋印章的比喻三份文件、ABC 三個印章：GPU 是三個工人各自拿印章，TPU 是三隻機械手臂加輸送帶，文件流過去就蓋完。
- 為什麼比較省能源讀資料比計算更耗能耗時。GPU 的核心要反覆跟暫存器存取，TPU 的權重先載進 MXU，資料一路流過去，中間不用存。
- 晶片面積的差異GPU 要有指揮官調度，20% 到 30% 面積花在控制電路；TPU 流程固定，面積多半留給運算單元。
- TPU 的代價犧牲彈性，遇到稀疏權重或形狀亂變的輸入就吃力；硬體很笨，所以特別依賴編譯器，開發比較困難。GPU 則完全相反。
- Sparse Cores 與 MoETPU 沒有想像中僵硬。過去幾代加了 Sparse Cores，把稀疏資料整理成脈動陣列適合的密集區塊，所以跑得動主流的 MoE 模型。
- XLA 與 PallasPallas 讓開發者繞過 XLA 編譯器，自己寫 TPU 的 custom kernel。哈利說它是 TPU 的 CUDA，但出來才兩年左右，也非常難寫。
- Flash Attention 與軟體生態哈利認為 Pallas 的出現有點是被 Flash Attention 激的。Google 也有 MaxText 與 JetStream，vLLM 和 SGLang 也加了 TPU 支援。
- Ironwood 對 GB200哈利把 TPU 與 NVIDIA 並列 Tier 1。TPU 的 ICI 單向 600 Gbps，GB200 的 NVLink 900 Gbps；功耗 1000 瓦對 1200 瓦，每瓦效能差不多。
- 系統層級的比較一般 ASIC 在大規模訓練比不過 NVIDIA 的 NVLink 與 InfiniBand，但 Google 更早做大規模連接，也有自己的 ICI。
- SuperPOD 與成本64 個 TPU 組成一個 Cube，最多 9216 個連成 SuperPOD，Cube 之間用 OCS 全光交換。SemiAnalysis 比較同樣 PFLOPS 下的 Ironwood 與 GB200 系統，TPU 的成本低了 44%。
- 實測資料很少Ironwood 的公開資訊極少。V6 跟 H100 不太能比，V7 才是在規格上跟 NVIDIA 同代可比。
- FP4 的差距Ironwood 最多支援 8bit，不支援原生 FP4。量化到 4bit 對 memory bound 的 decode 還有幫助，對 compute bound 的 prefill 幫助不大。
- 小結：能算，算得好不好未定主流模型 TPU 都算得動；但算得好不好要畫問號。想實驗新架構或新數學的研究團隊，TPU 基本上不太可能用。
- Google 對外推 TPUAnthropic 買 100 萬張，其中 40 萬張 TPU-V7 直接賣、60 萬張透過 GCP 租。哈利推測 Anthropic 一定痛過，但大公司請得起優化團隊。
- 護航者的說法與算力占比護航 NVIDIA 的人說 Meta 的 TPU 占比不到 10%。哈利引 SemiAnalysis：Anthropic 2025 年 Q3 的算力，TPU 接近 20%，NVIDIA 掉到 60 幾%。
- NVIDIA 的反應NVIDIA 發了一篇 X 文強調 GPU 的彈性，哈利覺得充滿不安全感；SemiAnalysis 則認為投資 OpenAI 是變相降價。
- 哈利的短期預測要看 4bit 推論占比、decode 還是 prefill、模型架構與 TPU 生態。他認為接下來一兩年 TPU 會持續吃 NVIDIA 的餅，大約 10% 上下。
- 中期：Google 賣多少三到五年的關鍵是 Google 要把 TPU 推到什麼程度。哈利聽說 Google 內部有兩派說法，一個劇本是中途轉向主要自用，另一個是全力做 TPU 銷售。
- 老黃會不會再跳一步哈利說老黃是超級偏執狂，產品週期推到每年一更。他認為老黃能一次超越 TPU 好幾代的機會不大，但永遠不要低估他。
值得記的話
▶ 09:57「事實往往都是在兩個極端之間的某一個灰色地帶」
▶ 18:15「那 TPU 它就是一個自動化工廠流水線」
▶ 56:36「但當然有支援跟最優化是完全不一樣的事情」
▶ 1:08:20「我覺得沒有必要無腦護航到這種程度吧」
▶ 1:18:36「我個人覺得這件事情不太可能，但你永遠不要低估老黃」
名詞與人物
- TPU
- Tensor Processing Unit，Google 專為 AI 運算設計的晶片，2013 年內部開案。
- 脈動陣列（Systolic Array）
- TPU 的核心設計，權重先放進運算單元，資料從一側流過整張晶片並被反覆使用。
- XLA
- TPU 的編譯器，哈利說 TPU 很吃編譯器能力。
- Pallas
- Google 這兩年推的語言，讓開發者繞過 XLA 為 TPU 寫 custom kernel，哈利稱它是 TPU 的 CUDA。
- Sparse Cores
- TPU 上額外的處理器，專門處理稀疏性，讓 MoE 模型跑得動。
- Ironwood
- TPU-V7，哈利拿來對標 NVIDIA 的 GB200。
- ICI
- Inter-chip Interconnect，Google 自己的晶片互連協定，哈利說是市面上 NVLink 唯一的真正對手。
- OCS
- Optical Circuit Switch，Google 自己研發的全光交換，用在 Cube 與 Cube 之間。
- SuperPOD
- 最多 9216 個 TPU 連在一起的超大規模叢集單位。
- FP4
- 4bit 的資料精度，GB200 原生支援，Ironwood 最多只到 8bit。
- prefill / decode
- 模型運算的兩階段：prefill 處理使用者的 prompt，偏吃算力；decode 一個一個產出 token，偏吃記憶體搬運。
- SemiAnalysis
- 哈利引用的半導體研究機構，做了成本比較與 Anthropic 的算力占比圖。
延伸
- 哈利說他大約兩年前就在節目裡介紹過 TPU 的系統，也在前幾集講過 Flash Attention。
- 他提到明年年初或年中，Ironwood 的實測資料出來之後，才比較能對 TPU 與 GB200 下定論。
- 哈利說他自己也持有 NVIDIA 和 Google，不是看衰 NVIDIA，只是反對無腦護航。