NVIDIA

089 · Jensen 談十年賭注與 AI 工廠

36:49YouTube 上架 2024-11-07Jensen Huang（NVIDIA）

No Priors Ep. 89 | With NVIDIA CEO Jensen Huang

Jensen Huang 談 NVIDIA 往後十年的押注：每年把效能翻兩三倍、以整座資料中心為產品單位，並把運算看成生產 token 的工廠，最後延伸到機器人與 AI 員工。

089 講了什麼

• 每年翻兩三倍的目標Jensen 希望未來十年在「整套系統規模」而非單顆晶片上，每年讓效能成長兩到三倍，成本與能耗同步各降兩到三倍，並說這會是某種「hyper Moore's law」的曲線。
• 靠協同設計與資料中心規模Jensen 認為 Dennard scaling 與 Carver Mead 的 VLSI scaling 已經耗盡動力，新的擴展來自演算法與架構雙向調整，以及把網路當成運算 fabric。
• 以資料中心為運算單位每一種組合 NVIDIA 都自己建成完整的資料中心，才知道軟體與 fabric 真的跑得動；建好之後再拆成零件賣，讓 GCP、AWS、Azure、OCI 都能接上，目標是 CUDA 到處都能跑。
• 晶片設計已有 AI 幫手Jensen 說 NVIDIA 內部有 AI 晶片設計師與 AI 軟體工程師，沒有它們就做不出 Hopper，因為 AI 能探索的設計空間比人類大得多。
• 從資料中心到 AI Factory新的資料中心多半是單一租戶、不存檔案，只負責產出 token；Jensen 說這可能是一個價值數兆美元的新產業，NVIDIA 做的不再是電腦而是工廠。
• 機器人、AI 員工與科學Jensen 認為通用機器人已經不遠，未來會有各種 AI 員工，各家軟體平台上也會長出專門的 agent；每個科學領域都會被生成式 AI 影響。

從哪一段開始看15 段

1. 00:05開場與十年的押注主持人在 NVIDIA 總部訪問 Jensen，問未來十年還有哪些大賭注。Jensen 說運算從寫程式變成機器學習，目標是十年內每年讓系統規模的效能翻兩三倍。
2. 02:31摩爾定律之後的擴展Dennard scaling 與 Carver Mead 的 VLSI scaling 都已經走到盡頭。新的擴展靠協同設計、精度從 fp64 一路降到 fp4，以及把網路當成運算 fabric，這也是買下 Mellanox 的原因。
3. 04:25推論時間縮放模型要自我反思、做搜尋與 chain of thought，所以需要極低延遲；資料中心又要高吞吐才能壓低成本，兩者互相拉扯，NVLink 就是 Jensen 說的解法。
4. 06:00成本下降與 CUDA 的穩定主持人說團隊整理出 GPT-4 等級模型每百萬 token 的成本約 18 個月降了 240 倍。Jensen 說 CUDA 是穩定的地基，Hopper 自 Llama 問世以來效能提升了五倍。
5. 07:18訓練與推論共用設備客戶的基礎設施是分散混搭的，Jensen 說今天拿來訓練的系統明天適合做推論。大模型用來蒸餾小模型，小模型可以在狹窄任務上表現很好。
6. 10:28整座資料中心是產品主持人問 NVIDIA 是否該做整座資料中心。Jensen 說已經在做：不蓋起來就不知道軟體與 fabric 能否真的跑出效率，NVIDIA 內部有五台超級電腦，明年至少再多五台。
7. 12:33垂直整合與相容性NVIDIA 垂直整合、再拆開零件賣，才能接進各家雲端不同的控制面。Jensen 說軟體投資最貴，CUDA、Shield、GeForce 都長期維護，這樣軟體團隊才不會大上一百倍。
8. 14:53xAI 的 10 萬 GPU 叢集Jensen 把功勞給 Elon，說兩邊倒推排程，預先模擬網路、備好供應鏈與接線，還先架了一個小版本，現場幾週內完成。又說 NVIDIA 內部有「Data Center as a Product」的做法。
9. 18:49更大叢集的阻礙被問到 20 萬、50 萬、100 萬規模的瓶頸，Jensen 說樣樣都不尋常，但沒有物理定律擋路，只是每件事都會很難；做出接近通用智慧的東西值得嘗試。
10. 20:45AI 晶片設計師Jensen 說 NVIDIA 有 AI 晶片設計師，沒有它們做不出 Hopper；晶片像是上千顆晶片，AI 能跨模組一起最佳化，人力和時間都做不到。
11. 22:17市值與重新發明運算主持人提到市值從約 500 billion 到超過 3 trillion。Jensen 說公司沒有變那麼快，真正的變化是運算被重新發明，新的資料中心是產出 token 的 AI Factory，是一個價值數兆美元的新產業。
12. 26:50機器人與 AI 員工Jensen 說通用機器人也已經接近，關鍵在能不能把動作 token 化、跟語言模型對齊。自駕車與人形機器人不必改變環境，未來還會有各種 AI 員工，用和管理人一樣的方式下指令。
13. 29:16晶片設計與軟體平台的 agentJensen 希望一年後最 AI 化的是晶片設計，想像向 Synopsys、Cadence 租用大量 AI 工程師。也認為 SAP、ServiceNow、Salesforce 這些平台不會被顛覆，反而坐在金礦上，會長出各自專門的 agent。
14. 31:21被低估的科學變革Jensen 說被低估的是各科學與工程領域正被 AI 改變，兩三年內不會有突破不以生成式 AI 為基礎。
15. 35:10自己也用 AI 當家教主持人說各領域的演算法有共通的概念。Jensen 說自己每天用 AI 當家教，學東西先問 AI，連自己確定的事實也會再核對。

值得記的話5 句

• I say that the new unit of computing is the data center我說運算的新單位是資料中心11:47

• if you're serious about software you build your own computers認真做軟體，就自己造電腦12:03

• there are no laws of physics everything is going to be hard沒有物理定律擋路，但每件事都會很難20:28

• we don't build computers anymore we build factories and every country is going to need it我們不再造電腦，我們造工廠，每個國家都會需要26:18

• I don't learn anything without first going to AI我學任何東西都會先問 AI35:40

名詞與人物12 個

Jensen Huang

NVIDIA 創辦人暨執行長，本集來賓。

Dennard scaling

Jensen 說的兩大傳統擴展支柱之一，已經耗盡動力。

Carver Mead

Jensen 說的「Carver Mead 的 VLSI scaling」，與 Dennard scaling 並列為兩大傳統支柱。

codesign

演算法與系統架構來回調整，是 Jensen 說的新擴展方式。

NVLink

把多顆 GPU 連成像一顆巨大 GPU 的互連技術，用來同時顧到低延遲與高吞吐。

Mellanox

NVIDIA 買下的公司，之後開始大力整合 InfiniBand 與 NVLink，把網路變成運算 fabric。

inference time scaling

模型在回答前自我反思、搜尋、推理，需要極低延遲產生 token。

Hopper

NVIDIA 的 GPU 世代，Jensen 說自 Llama 問世以來效能提升了五倍。

Data Center as a Product

NVIDIA 內部的做法：把資料中心當產品規劃、架設與調校，不對外販售。

digital twin

預先模擬整套網路與接線配置，用在 xAI 叢集的前置作業。

AI Factory

Jensen 對新型資料中心的說法：單一租戶、不存檔案，只產出 token。

OpenUSD

Omniverse 使用的語言，Jensen 說會自己做擅長它的 AI agent。

提到但沒有展開

• Jensen 回顧早年在 Toronto 的 Hinton 團隊、Yann LeCun、Andrew Ng 那裡看到電腦視覺的早期跡象，從「偵測貓」這種成果推斷運算會整個改變；從當時還像玩具的 AlexNet 到超人類的物件辨識，只花了幾年。
• Jensen 說軟體是人類編碼知識的方式，編碼方式一換，影響會擴及所有領域，並否認這只是一時風潮。

在 YouTube 看原片 ↗