晶片、雲端與電力的瓶頸

127 · 晶片、雲端與電力的瓶頸

47:18YouTube 上架 2025-08-14Dylan Patel（SemiAnalysis CEO）

No Priors Ep. 127 | With SemiAnalysis Founder and CEO Dylan Patel

Dylan Patel 從 OpenAI 的開源模型談起，一路講到 Neocloud 的出路、挑戰 NVIDIA 的難處、資料中心的電力與人力瓶頸，以及對中國賣 GPU 的拉扯。

127 講了什麼

開源模型把門檻往上推Dylan 認為 OpenAI 的開源模型讓美國半年到一年來第一次拿回最好的開源模型，偏推理與寫程式，而且體積相對小、比較好跑，會把封閉 API 的利潤再往下壓；主持人則認為模型優化層會變商品，競爭轉向基礎設施。
Neocloud 會整併Dylan 說他們追蹤的 Neocloud 已經約 200 家，績效差很多。出路是做到極大規模、往軟體層走、接受類似商用不動產的報酬，或是倒閉。
大雲端的利潤受質疑Dylan 認為只提供基礎設施，撐不起大雲端沿用 CPU 時代的高利潤；主持人認為雲端其實能提供軟體，兩人都同意主要業者還沒做出來。
NVIDIA 難被取代Dylan 以硬體、網路、軟體三方面說明，晶片新創就算有獨特設計，也要在製程、記憶體、網路上逐項落後；第一代 AI 晶片新創更是押錯了記憶體與運算的取捨。
瓶頸一直換位置Dylan 回顧從 CoWoS、HBM 到資料中心、變電設備、發電與人力，舊的瓶頸沒有消失，新的又冒出來；能有創意地快速處理每一項的組織才會贏。
出口政策是拉扯Dylan 認為賣 GPU 給中國會有取捨，全禁可能引來稀土反制，賣太多又讓中國受益；也認為中國晶片就算耗電較多，仍可能靠補貼與供電撐起競爭力。

從哪一段開始看18 段

00:00開場主持人介紹 Dylan Patel 與本集主題；Dylan 聊自己為什麼一直用 Android、現在用 Samsung 手錶和摺疊手機
02:04OpenAI 開源模型Dylan 認為這是美國數個月來第一次拿到最好的開源模型，偏重推理與寫程式；權重連同自訂 kernel 一起放出，讓推論供應商少了一塊差異化
04:21優化層變商品主持人認為模型優化大多會開源，競爭會移到基礎設施；Dylan 補充 DeepSeek 的推論實作要 160 張 GPU，系統層的協調仍有難度
06:58企業怎麼看開源模型Dylan 談企業對中國模型的疑慮、Kimi 太大難跑，而 OpenAI 的模型相對小，會把封閉 API 的利潤再往下壓
08:48推理模型的用量Dylan 說從替代資料看，API 用戶沒有大量用推理模式，卡在延遲與成本；也談 OpenAI 推理模型過去每 token 的定價
10:50Neocloud 的出路Dylan 說他們追蹤的 Neocloud 已經約 200 家；講它們的差異、債務壓力，以及往大規模、往軟體層、做地產式報酬或倒閉的四條路
13:14ClusterMAX 評比Dylan 介紹他們替雲端打分數的 ClusterMAX：先看雲能不能用，再往上看軟體；有些 Neocloud 在特定項目贏過大雲端
15:31大雲端的利潤對話談大雲端沿用 CPU 時代的高利潤，Dylan 認為只提供基礎設施的話，撐不起這樣的利潤；主持人認為雲端其實能提供軟體，兩人都同意大雲端還沒做出來
17:32挑戰 NVIDIA 要過幾關Dylan 用「三頭龍」講 NVIDIA：硬體、網路、軟體；晶片新創得做出獨特的東西，卻要在製程、記憶體、網路上吃一堆小虧
21:52第一代 AI 晶片新創Dylan 說 Cerebras、Groq 等押了大量晶片內記憶體，後來模型變大、變稀疏，賭注落空；硬體與軟體必須一起設計
27:05邊緣晶片與誰最有機會邊緣端的晶片新創有 40、50 家，沒有一家贏，最後是 Qualcomm、Intel 的晶片直接用；Dylan 認為 AMD GPU、Amazon Trainium 比晶片新創更可能成為第二選擇
28:24資料中心的瓶頸Dylan 說瓶頸一直在換：從 CoWoS、HBM 到資料中心、變電設備、發電，舊的仍然存在；Meta 搭臨時帳篷放 GPU、Elon 從海外買電廠；也談 AI 投資對美國經濟的拉動
32:02勞動力與速度Dylan 講承包商被搶光、電工工資上升，微軟向 CoreWeave 租算力、xAI 快速蓋出 Colossus，說明誰做得快誰贏；並談人才與機器人
34:49AI 技術要不要輸出主持人問美國該不該輸出 AI stack；Dylan 先說黎巴嫩的見聞，再談擴散規則、中東協議，以及盡量賣價值鏈高層的想法
38:42對中國賣不賣 GPU討論把管制的拉扯攤開：全禁會招來稀土報復，賣太多又讓華為受益；Dylan 說執法漏洞在設備與零組件
41:04中國晶片的補貼邏輯Dylan 假設中國晶片耗電較多但供電充足，成本差距可以被補貼吸收，並拿太陽能和電動車作例子
43:07想問 Zuckerberg 的問題Dylan 想問 Meta 想讓 AI 當陪伴，若人更常跟 AI 互動，會不會失去人與人的連結
44:25Cognition 與撲克Dylan 講自己原本不看好 Cognition，後來在一場活動的撲克桌上看到 Scott 贏了很多人，才改觀；主持人以「投資活著的玩家」呼應

值得記的話5 句

It's the first time America's had the best open source model in six months, nine months, a year.這是美國半年、九個月、一年來第一次擁有最好的開源模型02:19
So you either have to go like really really big or you need to move into the software layer or you just make commercial real estate or you go bankrupt, right?Neocloud 的四條路14:45
there's actually no software that the cloud can provide to deserve the margins that Amazon and Google's clouds do have today if you're just infrastructure provider只當基礎設施提供者的話，大雲端的軟體撐不起現在的利潤16:47
there's so many things that can go wrong in hardware and the time scales are so long.硬體能出錯的地方太多，週期又長20:50
But Nvidia charges a lot of money because they're the best and like if there was something better, people would use it, but there isn't.NVIDIA 收得貴，因為目前沒有更好的24:45

名詞與人物11 個

Dylan Patel: SemiAnalysis 的創辦人暨 CEO，本集來賓，談晶片與 AI 基礎設施
SemiAnalysis: Dylan 的公司，主持人稱它是晶片與 AI 基礎設施的主要資訊來源
Neocloud: 以出租 GPU 為主的新型雲端業者，Dylan 說他們追蹤到約 200 家
ClusterMAX: SemiAnalysis 替雲端業者做的評比，從能不能用、軟體、網路到安全性都看
CoreWeave: Neocloud 之一，Dylan 提到微軟向它租了不少算力
Crusoe: Neocloud 之一，Dylan 說它要蓋吉瓦級資料中心
Cerebras: 第一代 AI 晶片新創，押注晶片內記憶體，後來模型變得太大
Trainium: Amazon 的自研晶片，Dylan 提到它受機櫃整合良率影響而延遲
CoWoS: 晶片封裝技術，Dylan 說 2023 年是 NVIDIA 供貨的瓶頸
Colossus: xAI 蓋的資料中心，Dylan 說蓋得比別人快
Cognition: 做 AI 寫程式的公司，Dylan 本來不看好，後來改觀

提到但沒有展開

Dylan 提到 Meta 為了趕進度，用臨時的帳篷結構來放 GPU，因為蓋建築太花時間也太花人力。
Dylan 說有些做資料中心佈線的團隊，會依完工速度領獎金；Dylan 把這當作瓶頸催生出的怪現象。

在 YouTube 看原片 ↗

SemiAnalysis