耐能創辦人 Albert 從 CPU、GPU 談到 ASIC 與 NPU，主張 CUDA 的護城河在推論階段會變薄，NPU 的主場是邊緣與地端。
重點
GPU 的強項在軟體。Albert 認為 NVIDIA 在訓練端的護城河主要是 CUDA 這層軟體，GPU 本身不是為 AI 而生。他十年前開始做 NPU，說 Google 的 TPU 也是類 NPU 架構，比他們晚半年到一年。
ASIC 只是過渡方案。他說晶片 tape out 的成本貴，太垂直賺不回來，CPU、GPU 的歷史上最後也是通用的 PU 勝出。只有單一應用每天用上百萬次的雲端大公司，才養得起 ASIC。
三個階段裡 CUDA 變薄。他拿 CNN 時代對照，先拚訓練，再比推論成本，最後把模型縮小塞進終端。他認為 CUDA 的護城河在 Phase 2 與 Phase 3 都不存在，只剩開發上的方便。
NPU 的主場在邊緣。穿戴裝置、無人機、筆電這類吃電池的設備在乎功耗、成本與面積。他也說 NPU 不只能放在端，自駕斷訊、病歷隱私、公司內部資料這些情境都會把 AI 往地端推。
對算力擴張算帳。他拿 OpenAI 與 NVIDIA 去年十月簽的 MOU 來算，1GW 的建置成本落在 1000 億到 2000 億美金之間，20GW 約要多蓋 20 座核電廠。他的主張是專為 AI 設計、功耗低很多的架構才說得通。
Mamba 的底層算子。哈利問他是否還看好 State Space Model 取代 Transformer。他說 Mamba 其實已經取代 Transformer，只是兩者在算子層面已經 merge；耐能上上個月發表的 Mamba 晶片，底層算子仍是 Transformer 的重組。
時間軸 點時碼從那一段開始
- 開場與來賓介紹哈利介紹 Albert 的背景：UCLA 電子工程博士，待過高通、三星電子研發中心、晨星半導體等公司，2015 年在聖地牙哥創辦耐能，另有兩本書。這集要談 NVIDIA 的護城河與各種 AI 晶片的差別。
- TPU 與訓練端的護城河哈利問 Gemini 3 用 TPU 訓練，NVIDIA 在訓練端的護城河還強嗎。Albert 說護城河主要在 CUDA 這層軟體，GPU 底層不是為 AI 而生，TPU 比他們十年前開始做的 NPU 晚半年到一年。
- 從 CPU 到類 NPUAlbert 說硬體是從 CPU、GPU 走向類 NPU 架構：加強雲上訓練的是 TPU，加了很多 SRAM 的是 LPU。談到 NVIDIA 收購 Groq 時，他提到上個月紐交所的受訪：CPU 代表是 Intel 前 CEO 佩基辛格、GPU 是黃仁勳、AI ASIC 是 Broadcom 的 president，NPU 是他。他用錄影帶、DVD、MP3 隨身碟比喻這條路，並說只有純硬體層面成立。
- CPU、GPU 與 CUDACPU 核數少但每核像博士，GPU 一開始為圖像設計，上百個核像中學生。他說黃仁勳在 GPU 上架出通用軟體 CUDA，花了十年，當時在華爾街被嘲笑。
- ASIC 是什麼ASIC 是把某個垂直應用做到極簡。他舉學生時代的火星機器人、每秒 1000 幀的洲際飛彈（一般 real time 約每秒 30 幀）當例子，再用專治牙周病的牙刷比喻。
- 兩個維度與車的比喻比單位功耗的 AI 性能，NPU 勝過 GPU 與 CPU；比圖像能力 GPU 最強，比邏輯運算 CPU 最強。他用坦克（CPU）、卡車（GPU）、專為窄路造的小車（ASIC）和小客車（NPU）來講。
- ASIC 會是最後贏家嗎哈利問如果 AI 架構定下來，ASIC 是不是最後贏家。Albert 說不對：模型會一直變，tape out 成本貴，垂直應用量太小會賠，所以他認為 AI ASIC 只是暫時方案。
- PU 與 ASIC 各自的條件他說 PU 是改指令集就能涵蓋很多應用，涵蓋夠廣才有量，之後會分出 TPU、LPU、NPU 等 subclass，NPU 最平衡。ASIC 只在單一應用每天用上百萬次時才划算，他假設 GPU 跑 YouTube 廣告投放每月電費約一千塊，專用 ASIC 只要一塊。
- GPU 還能進步幾次十倍哈利問在摩爾定律已死的情況下，NVIDIA 還有幾個十倍可走，並說 GPU 的進步很多來自降低精度、軟硬體協同設計這類手法。Albert 先說黃仁勳與 Lisa Su 對摩爾定律的看法不同，兩人都對。
- 三個階段的演進Albert 說 CNN 時代已走過三階段：先拚訓練，再比推論成本，最後把模型縮小塞進終端。他給的比喻是訓練 NVIDIA 10 分、TPU 7 分，推論只需 2 分，用 10 分的東西電費多 80%。他認為現在已從 Phase 1 進到 Phase 2，DeepSeek 用的壓縮手法當年就有。
- Phase 2 之後的 CUDA哈利說 NVIDIA 越來越往推論走。Albert 說 CUDA 護城河在 Phase 2 與 3 都不存在，只剩開發方便，會是百花齊放。他用卡車司機改開小客車、油價暴漲 1000 倍來比喻，並說小客車指的是 NPU，不是 ASIC。
- ASIC 與 NPU 被混為一談哈利問雲端大廠自家晶片和 Cerebras 這類算不算 ASIC 贏家。Albert 說 TPU 本來就是 NPU 架構，真正的 ASIC 只存在於雲端公司的單一應用；Cerebras 做整片晶圓風險高，客戶集中在某個王室的單位。
- 耐能做什麼Albert 說耐能 2015 年就在做 NPU，LPU 比他們晚三到四年、TPU 晚一年。臺灣人以為 NPU 只是手機 SoC 裡的一塊，但他們至今有六七代 NPU 在市場上，可放進 SoC，也可獨立存在。
- NPU 整合還是獨立他說 CPU 和 GPU 整在一起兩邊性能都會掉，NPU 也一樣；只要方便就整合（如手機），在乎性能就獨立，越靠近 data center 越需要獨立。他說未來 NPU 會百花齊放，加強 Tensor Core 是 TPU，加強 token 是 LPU。
- 主權 AI 與可重構 NPU他舉德國的主權 AI，單位時間有 20 萬人、25 萬人以上在存取。耐能的可重構 NPU 像積木或黏土，可拼成視覺區的形狀再拆掉做聽覺區，同一顆晶片能做語音、影像與 LLM。
- Mamba 與 Transformer哈利問去年年初他看好 State Space Model 取代 Transformer，現在還是嗎。Albert 說兩者在算子層面已經 merge，Mamba 在準度與前後文分析上比較好。他還說黃仁勳著眼系統層面（堆疊 HBM）所以認為摩爾定律已死，Lisa Su 看晶片層面所以說還在。
- 賭哪一種架構哈利追問 Attention 與 RNN 這類架構差異是否沒有意義，Albert 說他習慣把事情拆到公式層面看。哈利接著指出設計 ASIC 的人得賭兩年後是 Transformer 還是 Mamba，也有玩家 all-in 一種，例如 Etched。Albert 說耐能上上個月 announce 了 Mamba 晶片，但底層算子仍是 Transformer 的重組；他說自己 2021 年就有支援 Transformer 的晶片，把外界搶第一的說法叫市場語言。
- NPU 的角色與雲端哈利問 NPU 還有多少進步空間，並整理現在的認知：雲端用 GPU，邊緣用 GPU 或 NPU。Albert 說只有手機 SoC 廠才把 NPU 看成小方塊，並說 Phase 1 時雲端訓練占 80%，到 Phase 2 雲上訓練只占 10%。
- 邊緣是 NPU 的主場Albert 說 GPU 貴但靈活，NPU 成本與功耗更低。穿戴、工業 AIoT、無人機這類電池設備 GPU 進不去，他以 3G、4G 時代的經驗說功能打開後 Killer App 自然會出現，今年是地端 LLM 晶片百花齊放的一年。
- 端與雲的界線Albert 說現在的筆電比他小時候的超算還強，端與雲的界線會被架構改寫。他說專為 AI 而生的架構效率比 GPU 強四五十倍，功耗只有百分之一或千分之一，就能把 40B、150B 的模型帶到地端。哈利反問端上模型的智能目前還差很多。
- 算力擴張的帳哈利提到最新模型可能有三四兆、四五兆參數，有人主張在雲上跑就夠。Albert 拿 OpenAI 與 NVIDIA 去年十月的 MOU 算帳：NVIDIA 要投一千億美金，奧特曼說五年內要 20GW，而 1GW 建置成本在 1000 億到 2000 億美金之間，用電約等於一座核電廠。
- 地端 AI 的理由Albert 說 NPU 也能上雲，但自駕斷訊、病歷隱私、公司內部資料（他說 Samsung 禁用 OpenAI）都需要地端。他的客服案例是雲端模型可能依網路資料說公司是血汗工廠，地端則能教成固定答案。
- 冷門孤單的路哈利問他晚上睡覺在想什麼。Albert 說十年前 AlphaGo 還沒擊敗人時他就在做 AI 晶片，選的是一條冷門孤單的路；他看過 Demis Hassabis 與 Yoshua Bengio 窮到便當都吃最便宜的，卻說做深愛的事最幸福。
- 十年後回頭看Albert 說十年前定義的 NPU 後來被學界認可，三年前 ChatGPT 帶起後，ARM、AMD、Intel、Qualcomm 才跟進。他說十年前自己還被追債、公司只剩兩個人，現在好太多。
值得記的話
▶ 05:06「GPU 本身就真的不是為了 AI 而生的」
▶ 27:06「我認為最後 AI ASIC 只是一個暫時方案」
▶ 39:25「NVIDIA 的 CUDA 護城河在 Phase 2 跟 Phase 3 都不存在」
▶ 1:02:30「當你把潘朵拉盒子打開，Killer App 自然而然會出現」
▶ 1:13:34「選擇一條我認為是比較冷門跟孤單的路」
名詞與人物
- NPU
- Albert 的主軸：專為 AI 設計的處理器架構。他說 TPU、LPU 都是加強某一塊的類 NPU 架構。
- CUDA
- NVIDIA 的通用軟體層，Albert 認為它是 GPU 在訓練端的護城河，到 Phase 2 與 3 就不存在。
- TPU
- Google 的晶片，在 Albert 的說法裡是加強 Tensor Core 的類 NPU 架構。
- LPU
- 加強大型語言模型 token 處理、堆了很多 SRAM 的類 NPU 架構，節目裡與 Groq 一起被提到。
- ASIC
- 把單一垂直應用做到極簡的晶片，Albert 認為在 AI 上只是暫時方案。
- PU
- Albert 的說法：改指令集就能涵蓋夠廣的應用、有量才叫 PU，之後會分出 TPU、LPU、NPU 等 subclass。
- Phase 1／2／3
- Albert 的三階段：模型從無到有的訓練、推論、把模型塞進終端的 Edge AI。
- Mamba
- State Space Model 的一種，Albert 說它與 Transformer 在算子層面已經 merge。
- Cerebras
- 做整片晶圓晶片的公司，Albert 說這種做法風險高，客戶集中。
- Etched
- 哈利提到 all-in Transformer 的 ASIC 玩家。
- 黃氏定律
- Albert 轉述黃仁勳的說法：晶片翻倍太慢，算力要靠系統層面堆疊來追。
- 主權 AI
- Albert 舉的地端 AI 情境，例子是德國的案子。
延伸
- 摩爾定律是否已死，節目裡有兩種講法：黃仁勳看系統層面，Lisa Su 看晶片層面，Albert 說兩者都對。
- 哈利提到最新模型已到三四兆、四五兆參數，Albert 只用算帳回應，模型規模本身沒有展開。
- Albert 說耐能的 Mamba 晶片底層仍是 Transformer 的重組，晶片實際怎麼設計，節目沒有細講。