美光兩位資深副總裁，一位管資料中心、一位管手機與個人運算，從 KV cache、HBM 的功耗與 SSD 的新用途，聊到 Edge AI 和擴廠為什麼慢。
重點
瓶頸從算力移到記憶體。Jeremy 說 AI 的主要負載從 training 轉到 inference 之後，記憶體成了整體效能的限制因素。訓練時記憶體暫存權重、餵資料給 GPU，推論時則要保存 context window。
KV cache 不夠就得重算。Jeremy 解釋，每一輪產生 token 都會把 KV cache 存進記憶體，容量或頻寬不夠，就得回頭重算先前的輸入。他說有足夠記憶體，運算量會從像 N squared 變成線性。
SSD 還沒被拿來存 context。Jeremy 提到資料中心的 SSD 目前幾乎沒有用在存 context，聊天離開一下再回來，看起來有記憶，其實是在重算。他預期大約一年後會改成存進 flash 再叫回來，並提到美光的 Gen 6 NVMe SSD 效能約是上一代的兩倍。
HBM 比的不只是容量和速度。Mark 說美光的 HBM 領先在功耗與效能。Jeremy 談 co-design：HBM3E 到 HBM4 頻寬幾乎翻倍，封裝與散熱更難，得更早和 GPU 夥伴、封裝廠一起設計；底部的 logic 晶片越來越強，也開始談把部分運算放進 HBM。
Edge AI 還在賽前熱身。Mark 形容資料中心的 AI 才第一局，Edge AI 還在賽前。邊緣裝置要更大的記憶體、更低的功耗，還要有隱私與安全；自駕車、機器人這類即時決策也不能每次都送到雲端。
擴產最難的是時間。Mark 說最大的複雜度就是時間，Boise 的新廠預計 2027 年上線。他也認為企業會重新設計工作流程，讓人和 agent 並行，並用 30 年前沒人用 email 來比喻。
時間軸 點時碼從那一段開始
- 開場與來賓介紹哈利介紹 Jeremy Werner（核心資料中心事業群）與 Mark Montierth（手機和用戶端事業群），在台北現場錄音，預告記憶體、能源效率、Edge AI 幾個題目。訪談全程英文，結尾由哈利用中文總結。
- 從 GPU 到記憶體哈利問為什麼討論從 flops 轉向記憶體。Jeremy 答：推論成為主要負載後，記憶體是效能的限制因素，agent 的用量也讓這件事更明顯。
- 推論為何更吃記憶體Jeremy 說訓練時記憶體暫存權重，推論則要保存 context window。每一輪 token 都產生 KV cache，頻寬或容量不足就得重算，運算量從 N squared 變成線性。
- Agent 與記憶體層級資料中心裡多個使用者共用一顆 GPU，各有各的 KV cache。從 HBM、主記憶體、context memory storage 的快速 SSD，到大容量 SSD，每一層需求都被推高，還要靠軟體在層間搬 KV cache。另一位來賓補充，邊緣端也類似。
- HBM 與功耗差異化來賓說 HBM 仍是核心，所有進 GPU 的資料幾乎都經過它。Mark 說美光的 HBM 在功耗與效能上領先，並舉邊緣裝置為例：跑 agent 要更久維持高頻寬，電池卻是同一顆。
- HBM4 與共同設計Jeremy 說從 HBM3E 到 HBM4 頻寬幾乎翻倍，封裝與散熱更難，必須更早和 GPU 夥伴、台積電等封裝端一起設計。HBM 現在是 12 層記憶體加一層 logic，美光正與夥伴把部分運算放進 HBM，但來賓強調還沒有宣布任何東西。
- 電力受限時的需求哈利提到有人說美國資料中心約一年後會撞上電力上限。來賓答：受限於電力時，推論 token 的需求不會停，所以要從現有電力榨出更多，就得用更省電、效能更高的新產品。
- Edge AI 的記憶體需求Mark 形容資料中心剛上場、Edge AI 還在賽前。邊緣端要大容量跑 31 billion、120 billion 參數的模型，用 LPDDR5 與 unified memory，並加強隱私與安全，低功耗也是必要條件。
- 延遲與買裝置的標準自駕車、製造設備、機器人需要即時決策，只能在本地跑。來賓也提到買裝置的標準會變，車子可能改看 AIQ、有多少 tops，並說不創新的人會被新競爭者追過。
- 擴廠與製程Mark 說美光認為 AI 由記憶體驅動，記憶體是整個產業成長的另一個限制。他提到 Boise, Idaho 的第一座美國廠接近完工，之後會接第二座，製程上目前大量出貨 1-Gamma 產品。
- 美光自己用 AI美光把 AI 和 machine learning 用在製造、尤其是良率學習，也用在日常生產力與供應鏈。來賓說員工很歡迎，重複性的工作交給 AI，時間可以拿去創新。
- 省電怎麼做哈利追問製程微縮與 co-design。來賓以 SSD 為例：自家設計控制器與韌體，推出 2600 SSD 的 adaptive write 技術，讓 QLC 在寫入時接近較快快閃的效能。另一位來賓補充，只靠新製程不夠，系統架構要一起改，才能超過製程本身的省電幅度。
- 擴產難在時間Mark 說最大的難處是時間，Boise 預計 2027 年上線。來賓也提到台灣的基礎建設讓產能上線很快；一座新廠要花超過 10 billion 美元（來賓特別說是美元不是台幣），無塵室約 10 個足球場大。
- 人與 agent 並行的工作方式哈利問未來怎麼用 AI。來賓說現在要做的是上一代產品 5 到 10 倍的效能、一半的功耗。Mark 認為企業要重新設計流程讓人和 agent 並行，30 年後的人會說難以想像當年沒有 agent。
- 兩三年內的 context 與 SSD哈利問短期。他提到一份報告說約 80% 的人口日常還沒用 AI。Jeremy 說約一年後 context 會存到 flash，美光的 Gen 6 NVMe SSD 效能約兩倍，另外 vector database indexing、graph neural network training 也在帶動 SSD 需求。
- AI 融入到看不見來賓預期未來兩年 AI 會深入到難以衡量，車子幫忙開車算不算用 AI 都不好回答。美光要和夥伴一起押注，投資得靠看法一致的客戶。
- 哈利總結：記憶體與 agent哈利用中文重述：看 AI 不能只看 GPU，推論要保存 context 與 KV cache，記憶體不夠就浪費算力。每個 agent 都要存自己的狀態，所以 HBM、DRAM、SSD 整個階層都變重要。
- 哈利總結：能源與 co-design在固定電力預算下，哪套系統能跑出更多 token，資料中心的經濟效率就越好。哈利整理美光的兩個做法：製程推進，以及 HBM 要和 GPU、封裝、散熱、代工一起設計。
- 哈利總結：Edge AI 與長期需求哈利整理 Edge AI 受功耗、延遲、隱私、安全限制，Mark 說還在賽前熱身。美光視 AI 為長期結構性需求，持續擴產，Mark 的重點是企業會重新設計工作流程。
值得記的話
▶ 03:36「in training, memory holds the weights in kind of a temporary state, feeding the GPUs」
訓練時，記憶體把權重暫時放著，拿來餵 GPU
▶ 28:35「Don't know how to bend time yet」
我們還不會彎曲時間，講擴廠最難的是時間
▶ 34:55「really only 30 years ago, no one used email」
才 30 年前，根本沒人用 email
▶ 36:59「SSDs today are actually not really used for storing context at all in the data center yet」
SSD 目前在資料中心其實還沒有用來存 context
▶ 37:15「it will store that in flash and then recall it so that you don't have to recompute」
它會把內容存進 flash 再叫回來，就不用重算
名詞與人物
- Jeremy Werner
- 美光資深副總裁暨核心資料中心事業群總經理，負責資料中心的核心業務
- Mark Montierth
- 美光資深副總裁暨手機和用戶端事業群總經理，負責行動裝置與用戶端運算
- KV cache
- 推論每一輪產生 token 時存進記憶體的中間結果，不夠就得重算
- HBM
- 最貼近 GPU 的高頻寬記憶體，來賓說所有進 GPU 的資料幾乎都經過它
- Context memory storage
- 位在 HBM 與主記憶體之下、用快速 SSD 存放 context 的一層
- Co-design
- 與 GPU 夥伴、封裝廠、系統客戶提早一起設計下一代產品
- LPDDR5
- 來賓提到邊緣裝置高效能系統在用的記憶體，搭配 unified memory 架構
- adaptive write
- 美光在 2600 SSD 上用的技術，讓 QLC 寫入時接近較快快閃的效能
- Gen 6 NVMe SSD
- Jeremy 說是全球首款量產的 PCIe Gen 6 SSD，效能約是上一代的兩倍
- 1-Gamma
- 美光目前大量出貨的製程世代產品
延伸
- Mark 提到美光也在紐約蓋新廠，這集沒有展開。
- Jeremy 說 vector database indexing 與 graph neural network training 會帶來新的 SSD 需求，這集只點到名字。