AMD

053 · AMD CTO 談 GPU 與晶片創新

39:03YouTube 上架 2024-02-29Mark Papermaster（AMD CTO）

No Priors Ep. 53 | With AMD CTO Mark Papermaster

Mark Papermaster 從 IBM、Apple 一路講到 AMD 的 CPU 與 GPU 路線，談 MI300、開源軟體堆疊、供應鏈與電力限制，以及摩爾定律放緩後的整體設計。

053 講了什麼

• CPU 與 GPU 兩手都有Mark 說 AMD 先把 CPU 路線重建起來，2017 年推出 Zen；GPU 則來自公司更早收購的 ATI，兩條線同時往異質運算走。同時握有強的 CPU 與 GPU，正是當初吸引 Mark 加入 AMD 的原因之一。
• MI300 是旗艦 AI 晶片Mark 說 MI300 在去年 12 月 6 日發表，一個版本給高效能運算，另一個版本針對 AI 訓練與推論。主持人提到發表時 Meta 與 Microsoft 已公開承諾採購。
• 軟體要好部署、也要開放Mark 說 AMD 支援 PyTorch、TensorFlow 等主要框架，並和 Hugging Face 合作，每個新模型都在 AMD 與 NVIDIA 上一起測。ROCm 開源，因為不想靠專有軟體把客戶鎖住。
• 推論會往邊緣走Mark 說模型會愈來愈多針對自家業務微調、變得更小，運算也會從大型資料中心延伸到工廠現場與個人裝置。AMD 去年起就把 AI 加速器放進 PC。
• 摩爾定律放緩要靠整體設計Mark 說製程進步變貴、省電變少，所以要用 chiplet、合適的運算引擎、封裝、互連與軟體一起最佳化。
• 供應鏈與電力是現實限制Mark 談到先進封裝、和 TSMC 的長期合作、各國擴建晶圓廠與封裝產能；Mark 認為電力會是關鍵限制，AMD 把能源效率列為最高優先。

從哪一段開始看14 段

1. 00:38開場與來賓介紹主持人介紹 AMD CTO Mark Papermaster，說 Mark 曾在 IBM、Apple、Cisco 擔任領導職務，這集要談 GPU 與帶動產業的競爭。
2. 00:54從 IBM 到 AMDMark 從德州大學畢業後投入晶片設計，在 IBM 做過 CMOS 與微處理器，後來被 Steve Jobs 找去 Apple 管 iPhone 與 iPod，2011 年秋天到 AMD 當 CTO。
3. 02:59AMD 的產品版圖AMD 從第二供應商起家，現在涵蓋超級電腦、雲端 EPYC CPU、Xbox 與 PlayStation 的遊戲晶片，以及收購 Xilinx 之後的嵌入式。
4. 05:06走向 AI 的路線先重建 CPU 路線，2017 年推出 Zen；同時靠 ATI 帶進來的 GPU 走異質運算，大資料應用從超級電腦起步，一路做到 MI300 發表。
5. 09:26MI300 的主打場景目標是大型語言模型的訓練與推論，Mark 說 MI300 在訓練上有競爭力、在推論上領先，並同時在運算引擎與記憶體上做效率。
6. 11:04軟體生態與合作夥伴Sarah 問軟體平台怎麼跟對手比。Mark 說支援 PyTorch 等框架，Hugging Face 上的模型發布時會在 AMD 與 NVIDIA 上一起測，每晚都跑回歸測試；Lamini 這類客戶已在 AMD 上提供服務。
7. 15:32為什麼要開源ROCm 與底層編譯器都走開源，Xilinx 也有同樣理念。Mark 說 AMD 要靠方案本身贏，不靠把客戶鎖進專有軟體。
8. 17:23AI 雲與市場擴張主持人問新興 GPU 雲與短缺會怎麼演變。Mark 說應用愈來愈多，運算從超大型業者擴到二線資料中心、工廠現場與使用者裝置。
9. 21:01供應限制與電力主持人問封裝、TSMC 產能與電力。Mark 說先進封裝是 GPU 供應的一環，MI300 由多個 chiplet 組成；電力是關鍵，AMD 每一代都盯能源效率。
10. 24:25摩爾定律放緩後Mark 說製程不再自動帶來性能，要靠異質運算、chiplet、封裝、互連與軟體一起設計，AMD 的優勢是合作文化。
11. 28:01地緣政治與晶圓廠主持人問 TSMC 近乎壟斷與晶圓廠安全。Mark 說 AMD 支持各國擴建晶圓廠與封裝產能，但這需要多年準備。
12. 30:41新硬體裝置成敗主持人提到 Vision Pro、rabbit、Humane。Mark 說晶片進步讓這些裝置成為可能，但成功要靠產品帶來讓人喜愛的新能力。
13. 34:13雲端與裝置分工Sarah 說新應用都在對抗延遲。Mark 認同，認為演算法要設計成讓需要即時反應的部分留在邊緣或裝置，其餘放在雲端。
14. 36:05AMD 的 2024Mark 說 AMD 已把整條產品線都加上 AI 能力，2024 是大規模部署的一年，希望被認為是把 AI 帶進整個運算範圍的公司。

值得記的話5 句

• you really end up with a stagnant industry沒有競爭，產業最後就會停滯15:15

• we're not about locking in someone with a proprietary wall Garden software stack我們不想用專有的封閉軟體把客戶鎖住16:36

• it's just breathtaking how the Market's expanding so rapidly市場擴張的速度令人屏息18:10

• it demands what I call Holistic design摩爾定律放緩之後，需要的是我所說的整體設計26:12

• it's got to be something that you love and that creates a new category它必須是你會愛上、而且開創新類別的東西；Mark 說這是在 Apple 學到的32:52

名詞與人物10 個

Mark Papermaster

AMD CTO，本集來賓，2011 年秋天加入 AMD。

MI300

AMD 的旗艦資料中心晶片，有高效能運算與 AI 訓練、推論兩種版本。

Zen

AMD 於 2017 年推出的 CPU 架構，用於 Ryzen 與 EPYC。

EPYC

AMD 的 x86 伺服器 CPU 產品線。

ATI

AMD 早年收購的公司，帶來 GPU 產品線。

heterogeneous computing

異質運算，讓 CPU、GPU 與專用引擎各做擅長的工作。

ROCm

AMD 的開源 GPU 軟體堆疊。

chiplet

把多個較小的晶片組合起來，MI300 裡有 CPU、I/O、記憶體控制器等。

Xilinx

AMD 於 2022 年 2 月收購的公司，帶來嵌入式產品。

Lamini

在 AMD 上提供模型服務的公司，Sarah 說是自己投資的公司。

提到但沒有展開

• Mark 說在 AMD 的 PC 裡加入 AI 推論加速器，2023 年一整年都在出貨，CES 上已預告下一代。
• Mark 舉了即時翻譯為例，說 AI 讓 PC 以低功耗做高效能推論，可能讓 PC 變成一種新類別。

在 YouTube 看原片 ↗