哈利先聊 Meta 出租算力與 GPT-5.6 的消息，接著從 AI 運算的底層拆解 Cerebras：整片晶圓當一顆晶片換來極高的速度，代價是記憶體容量與成本。最後用同一套框架看 Etched。
重點
Meta 租算力不是泡沫警訊。哈利不同意「Meta 買太多」的解讀。他認為現在只有最好的模型和次好但極便宜的開源模型有人用，多出來的算力拿去訓練也沒有用，租出去最合理。
Cerebras 的賭注是頻寬。他們認為 AI 運算的核心瓶頸是資料流動的速度。所以不切晶圓，整片當一顆晶片，再用晶片上的 SRAM 取代 HBM。
快的代價是容量。一片 WSE3 的頻寬約是 Blackwell 的 2600 倍，但只有 44GB 的 SRAM，Blackwell 一顆有 186GB 的 HBM3E。能同時服務的使用者少，成本就貴上幾倍。
Cerebras 打的是特定市場。哈利認為它做的是高溢價的快速推論，不是 NVIDIA 那種通用市場，所以市值約 NVIDIA 的 1% 粗估合理。估值是否合理，留到下一集。
看 ASIC 公司先問取捨。比 NVIDIA 好十幾倍二十倍的晶片，一定有明顯的 tradeoff。哈利用這個角度看每一家新的 AI 晶片公司。
Etched 的兩項技術。低電壓推論（Low Voltage Inference）用來優化 Prefill，Cluster Scale Memory 用來優化 Decode。哈利不認為光靠這兩項就能整體超越 NVIDIA 10 倍。
時間軸 點時碼從那一段開始
- 本集題目哈利說這是他很久以前就想研究的公司：Cerebras，一間做 AI 運算晶片、對手是 NVIDIA 的 AI 硬體公司。
- 市值只有 1% 的疑問Cerebras 整間公司只做 AI 運算晶片，上市約一個月、股價一路下跌，市值差不多是 NVIDIA 的 1%。網路上都說它快很多，他想問的是它犧牲了什麼。
- 披薩大的晶片一般 AI 晶片像指甲，Cerebras 一顆邊長 21 公分。他希望聽眾聽完能懂 AI 運算的底層，也預告最後會聊 Etched。
- Meta 出租算力彭博報導 Meta 規劃把多餘的 AI 算力租出去，股價跳了 10%。哈利覺得新聞本身沒什麼，有意思的是大家的解讀。
- 為什麼不是泡沫警訊有人說 Meta 算力買過頭了。哈利認為模型沒需求的是 Meta 與 xAI，OpenAI 與 Anthropic 仍缺算力；額外算力拿去訓練也沒用，因為模型是一代一代迭代出來的。Google 租 11 萬張 NVIDIA GPU、一年付 SpaceX 110 億美元，他認為這個價格就說明算力仍然短缺。
- 沒有放棄前沿 AI也有人解讀成 Meta 要放棄前沿 AI。哈利不認為馬斯克或祖克柏會放棄，並舉 Meta 的員工監控與調派工程師為例；他預期合約會留單方面終止的權利。
- Fable 5 與 GPT-5.6Fable 5 解禁回來，安全防護比之前更嚴；OpenAI 預告 GPT-5.6 系列，三個尺寸代號是 Sol、Terra、Luna，先在美國政府監管下找小規模客戶測試。
- 發表文裡的一行小字最大的 GPT-5.6 Sol 除了跑在 NVIDIA GPU 資料中心，也會部署在 Cerebras 上，可以買到 Cerebras 產出的 token。
- 為什麼做 Wafer Scale創辦人 Andrew Feldman 的想法是新的運算典範出現時才有機會打敗既有玩家。哈利轉述他們判斷核心瓶頸是頻寬，所以不切晶圓，整片直接當一顆晶片。
- AI 運算的三樣東西模型權重、前後文資訊 KV Cache，以及正在算的 token（activation）。
- GPU 怎麼搬資料運算單元與 HBM 分開，權重與 KV Cache 放在 HBM；每算一個 token，整份都要搬一次，5 萬個 token 就搬 5 萬次。
- 為什麼放不進運算單元權重最少超過 1TB；KV Cache 每個使用者都要存，70B、80 層、128K context 的例子是 40 到 50GB。運算單元自己的暫存只有幾十 MB。
- SRAM 的取捨SRAM 頻寬比 HBM 快上千倍，但一個 bit 要六顆電晶體，密度低、佔面積。Cerebras 就是拿它存權重與 KV Cache，所以晶片才這麼大。
- WSE3 對 Blackwell面積 27 倍；頻寬 21000 TB/s 對 8TB/s，約 2600 倍；容量 44GB SRAM 對 186GB HBM3E。Cerebras 可到 23000 tokens per second，NVIDIA GPU 是 30 或 50。
- 3 億美元的試算各買約一百臺，假設 2TB 模型與 128K context：NVIDIA 最高 batch size 8000，Cerebras 只有 20。整個系統每秒的 token 總量是 24 萬對 2 萬，差 12 倍。
- 打的是不同的市場哈利認為 Cerebras 一定更貴，而且是貴幾倍；初始建置成本也高。它的市場是量化交易、Coding Agent 這類願意付高價換速度的客戶。商業面留到下一集。
- 怎麼看 ASIC 公司創辦人只講好的地方，沒說取捨。哈利認為 Cerebras 只在快速高溢價推論市場與 NVIDIA 競爭，所以市值只有 1% 粗估合理；他順帶更正，NVIDIA 現在有 Groq。
- Etched 的來歷2022 年宣布成立，由兩位 22 歲哈佛輟學生創辦，現在是三位 24 歲創辦人，團隊找來 NVIDIA DGX 負責人與 Google TPU 軟體負責人之一。這次發表資訊太少，不足以做完整分析。
- Etched 的產品與兩項技術第一代是整櫃系統，從晶片到冷卻都自己設計，今年可能年底出貨，只做推論。創辦人說靠兩項技術能比 NVIDIA 快 10 倍。
- Prefill 與 Decode 拆開Prefill 吃算力，Decode 吃頻寬；業界標準做法是拆開放在不同硬體上。Etched 一個機櫃內用不同晶片分別優化兩階段。
- 低電壓推論GPU 實際只用到 20% 到 50% 算力，原因是過熱降頻。電壓減半，功耗降到四分之一；Etched 用低電壓提高算力利用率，細節沒公開。
- Cluster Scale MemoryEtched 說把整個集群的記憶體當成單一共享池，並重新設計乙太網路第二層以上。哈利的解讀是實際上不是真的共用，而是更適合 AI 的乙太網路，關鍵在成本與速度。
- 哈利對 Etched 的判斷創辦人從第一性原理重做 AI 時代的方案，機會是真的。但他不認為這兩項技術就能整體贏 NVIDIA 10 倍，頂多在特定場景。
值得記的話
▶ 13:41「你覺得馬斯克跟潮男阿祖是這麼容易放棄的人嗎」
▶ 47:00「不是貴一咪咪，不是貴幾趴幾趴，是貴幾倍幾倍」
▶ 51:03「你不可以所有都要，你要速度，你就要犧牲你的記憶體容量，就要犧牲成本」
▶ 52:29「你今天一個晶片要能夠比 NVIDIA 快這麼多，你一定有 some serious trade-off」
▶ 1:13:26「我不覺得他在整個 mass market 真的是可以比 NVIDIA 強 10 倍」
名詞與人物
- Cerebras
- 只做 AI 運算晶片的公司，以整片晶圓當一顆晶片聞名；創辦人暨 CEO 是 Andrew Feldman。
- Wafer Scale Chip
- 不把晶圓切成小晶片，整片直接當一顆超大晶片，最新一代是 WSE3。
- HBM
- 高頻寬記憶體，堆在 GPU 晶片周圍，NVIDIA GPU 把權重與 KV Cache 存在這裡。
- SRAM
- 極快但密度低的記憶體，一個 bit 要六顆電晶體；Cerebras 用它取代 HBM。
- KV Cache
- 模型理解前後文時產生的中間資料，每位使用者都要各存一份，是主要的容量壓力。
- Pure Play
- 整間公司只專攻單一領域，這集指只做 AI 運算晶片。
- Batch Size
- 系統同時能服務的使用者數量，這集用來比較 NVIDIA 機櫃與 Cerebras。
- Prefill / Decode
- 推論的兩個階段：先處理前後文，再一個一個吐出 token；前者吃算力，後者吃頻寬。
- Groq
- 同樣以 SRAM 為主的 AI 晶片，哈利提到 NVIDIA 買下它，用在 Decode 階段。
- Etched
- 由哈佛輟學生創辦的 AI 晶片公司，第一代產品是只做推論的整櫃系統。
- MFU
- Model Flops Utilization，GPU 算力的實際利用率。
延伸
- 哈利說 Cerebras 分成兩集，這集談技術，下一集談與 OpenAI、Amazon 的合作，以及未來的成功與失敗劇本。
- 他提到之前的科技浪也聊過 Etched 的 SOHU 晶片，以及一年前介紹過 Prefill 與 Decode 的分工。