哈利逛完 Computex，從現場見聞談到 AMD 與 Intel 規格追得上 NVIDIA，卻輸在 CUDA 軟體和 GPU 之間的網路連線，最後看兩家的 AI PC 新晶片。
重點
三位 CEO 裡黃仁勳最紅。哈利在現場看到黃仁勳、Lisa Su 與 Pat Gelsinger，他說黃仁勳周圍的人潮遠遠超過另外兩位，名氣大半來自 NVIDIA 的股價暴漲。
規格差不多，市場還是 NVIDIA 的。有人問哈利，AMD 與 Intel 的加速器算力、記憶體跟 H100 差不多，價格還便宜很多。他的回答是講兩個重點，軟體和 Networking。
軟體：CUDA 的年資。NVIDIA 2006 年就開始做 CUDA，AMD 的 ROCm 2016 年才第一次推出。哈利轉述網路上有工程師比較過，ROCm 比較慢、文件也比較殘缺。
網路：NVLink 與 InfiniBand。訓練大模型要把模型和資料都拆到很多 GPU 上，連線不夠快就會一直在等。NVIDIA 有 NVLink，又在 2019、2020 年買下 Mellanox 拿到 InfiniBand；AMD、Intel 走的是聯盟路線，進度都還在起步。
AI PC 新一輪。Intel 的 Lunar Lake 和 AMD 的 Ryzen AI 300 都升級了 NPU，哈利說自己想入手一台，從第一波 AI PC 就參與。
時間軸 點時碼從那一段開始
- 展會規模與主題哈利覺得今年規模比去年大非常多。在南港展覽館一館與二館，主軸是「AI 串聯共創未來」，展區由六個主題延伸，從人工智慧運算到新創。
- Keynote 陣容Lisa Su 第一場開場，之後有高通、Intel、聯發科、Supermicro 與恩智浦的高層，哈利稱為科技圈的 Coachella。
- 技嘉攤位的人潮4 號第一天他在技嘉攤位等黃仁勳，人越聚越多，推擠像衝擊波一路往外傳，他自稱 185 公分、很壯，還是被推得往後倒。
- 三位 CEO 的人氣差距Lisa Su 周圍的人約黃仁勳的一半，Pat Gelsinger 又是她的一半。哈利認為黃仁勳紅，主因是 NVIDIA 股價暴漲，市值先超過 Google 與 Amazon，後來又超過蘋果。
- 本集要聊什麼他聽了黃仁勳在台大、AMD 與 Intel 三場 Keynote，要聊 AMD 與 Intel 離 NVIDIA 還有多遠、為什麼差這麼多，最後再分享逛展體驗。
- 黃仁勳的 Keynote哈利說沒有新東西，只多了一個名字：下一代架構叫 Rubin，其餘都和 GTC 一樣。AMD 與 Intel 有新發表，聲量卻差很多。
- 規格接近卻差很多有人看完發表會覺得算力和記憶體沒差多少、價格又低很多，Intel Gaudi 2 與 3 的定價約 H100 的二分之一到三分之一。他的答案是軟體加 Networking。
- CUDA 在做什麼工程師用 Python 與 PyTorch 寫高層指令，PyTorch 轉成數學運算，CUDA 再變成 GPU 直接執行的 kernels。編譯器、文件、API 與除錯工具都要齊，還要和 PyTorch 這類套件整合。
- CUDA 的年資與 ROCmNVIDIA 2006 年起步，2012 年之後 AI library 越來越多，現在有幾百萬個開發者。ROCm 晚了十年，Intel 的 OpenVINO 主要拿來做推論，訓練幾乎沒有支援。
- 訓練為什麼吃網路模型大到幾百 GB，H100 的 HBM 只有 80GB，所以要拆到多個 GPU；資料量大，就複製多份模型分頭訓練，兩種平行化都靠連線。
- NVLink 與 NVL72GPU 之間用 NVLink，軟體可以把整台當一顆 GPU。GB200 NVL72 內有 NVLink Switch，背後有 NVLink Spine，頻寬是 1.8TB per second。
- InfiniBand 與 Mellanox機櫃之間有乙太網路和 InfiniBand 兩種協定，2022 年之前資料中心沒人在意 InfiniBand。黃仁勳在 2019、2020 年買下 Mellanox，哈利稱可能是 NVIDIA 歷史上最棒的併購。
- AMD 與 Intel 的聯盟GPU 之間有 Ultra Accelerator Link，機櫃之間有 Ultra Ethernet Consortium，前者要做出類似 NVLink 的標準，後者要讓乙太網路有更好的 RDMA；兩個聯盟都沒有 NVIDIA。
- 進度與小結NVIDIA 也有乙太網路方案，哈利在 Computex 看到的是 400Gbps，InfiniBand 是 800Gbps，但他說自己不確定。Ultra Accelerator Link 上週才成立，Ultra Ethernet 預計今年 Q3 發 1.0。
- AI PC 新晶片Intel Lunar Lake 比 Meteor Lake 少用 40% 能量、AI 效能三倍；AMD Ryzen AI 300 基於 Zen 5，NPU 50 TOPS。哈利想買一台，參與 AI PC 浪潮。
- 親眼看 NVL72NVL72 約一個人高，內有 72 個 Blackwell GPU 與 36 個 Grace CPU。合作夥伴攤位有好幾台，黃仁勳簽了名；AMD 與 Intel Gaudi 的伺服器上也有簽名。
- 桌機、筆電與冷卻零組件從主機板到顯卡都有，水冷系統像化學實驗室。看完他有點想自己組桌機，筆電則有 ASUS、Acer 等大品牌。
- NVIDIA ACE讓遊戲角色有雲端大型模型當大腦，有人格設定與記憶。現場 Demo 是旅館裡的偵探遊戲，每個角色個性不同，可以自由對話找線索。
- 其他展區與心得另有 5G、AIoT、Edge AI、車用與沉浸現實。哈利覺得收穫很大，Computex 免費參觀，台灣在電腦供應鏈上很多環節都有參與，期待 2025 年再見。
值得記的話
▶ 11:39「這三個那天來的所有 CEO 裡面最紅的就是黃仁勳而且是比其他人紅非常非常多」
▶ 16:58「你就講兩個重點第一個重點是軟體第二個重點是 Networking」
▶ 28:08「你真的 60%以上的時間你都是在等資料流來流去而已」
▶ 32:51「超棒的一個併購可能是 NVIDIA 歷史上最棒的一個併購」
▶ 54:15「所以身為台灣人真的是應該要驕傲的」
名詞與人物
- CUDA
- NVIDIA 讓 AI 程式在自家 GPU 上跑得最有效率的軟體，從 2006 年開始做，哈利說有幾百萬個開發者在用。
- ROCm
- AMD 對應 CUDA 的軟體，2016 年第一次推出，走開源路線。
- OpenVINO
- Intel 的工具包，讓模型在 Intel 的內顯或 CPU 上跑，主要做推論。
- Model Parallelization
- 把一個太大的模型切成幾塊，放在不同 GPU 上。
- Data Parallelization
- 複製多份模型，同時訓練不同部分的資料。
- NVLink
- NVIDIA 連接 GPU 的技術，讓軟體把多顆 GPU 當成一顆。
- InfiniBand
- 機櫃之間的高速通訊協定，原本為高效能運算設計，有原生 RDMA 支援。
- Mellanox
- 開發 InfiniBand 的以色列公司，哈利說黃仁勳在 2019、2020 年買下。
- Ultra Accelerator Link
- AMD、Intel 等組成的聯盟，要做出類似 NVLink 的業界標準。
- Ultra Ethernet Consortium
- 要讓乙太網路做出更好 RDMA 的聯盟，預計今年 Q3 發 1.0。
- GB200 NVL72
- NVIDIA 的機櫃式伺服器，內有 72 個 Blackwell GPU 與 36 個 Grace CPU。
- Lunar Lake
- Intel 的新一代 AI PC 晶片，上一代是 Meteor Lake。
延伸
- 哈利說想多了解 Blackwell 平台可以聽科技浪 EP32，想了解 Omniverse 可以聽 EP33。
- 他提到推論是另一種場景，這集沒有繼續講下去。