加速運算的三十年押注

013 · 加速運算的三十年押注

52:11YouTube 上架 2023-04-25Jensen Huang（NVIDIA）

前 13 集的上架日是頻道補檔的日子（2023 年 4 月底一次補上），不是當初播出的日期，所以跟集號的先後對不起來。

No Priors Ep. 13 | With Jensen Huang, Founder & CEO of NVIDIA

Jensen Huang 回顧 NVIDIA 從加速運算起家，靠 CUDA 與 GeForce 接上深度學習，並談公司怎麼管、H100 的設計取捨，以及給創業者的話。

013 講了什麼

只做通用運算做不到的事Jensen 說創辦時業界約 99% 的價值押在通用運算、只有約 1% 相信加速運算，而且之後 25 年都是 99% 那邊對。NVIDIA 選擇去解 CPU 解不了或幾乎解不了的問題，一路延伸到自駕車、機器人、氣候科學、數位生物學，以及人工智慧。
CUDA 靠相容性養開發者每一顆晶片都維持架構相容，開發者才知道該為哪一種晶片寫程式。Jensen 說前五到十年 CUDA 的客戶很少，毛利一開始就差、後來更差。
2012 年前後看到深度學習Andrew Ng 找上 Bill Dally 想把神經網路搬上 GPU，差不多同時 Hinton 與 LeCun 的實驗室也來找。Jensen 說 ImageNet 是引爆點，並開始想這會不會是寫軟體的新方式。
NVIDIA 不想變成 AI 模型公司Jensen 說公司是運算平台，只往上走到開發者需要的那一層。能用 OpenAI、Microsoft、Google 的模型就鼓勵去用；蛋白質、化學、氣候這類小眾領域的專用基礎模型才需要另外做，NVIDIA 自己可能做的是 3D 虛擬世界與機器人的基礎模型。
公司結構要配合工作性質Jensen 有四十幾位直屬主管，沒有一對一談話；全公司只用一種架構、一套指令集。內部另有兩種運作方式：一邊把複雜的電腦做到完美，一邊是不確定十年後行不行的 Skunk Works。
創業要在天真消失前動手Jensen 說無知是創業者的超能力，勸有心的人別拖太久；同時要既堅持信念、又相信自己可能是錯的。

從哪一段開始看20 段

00:04從 AMD 到 LSIJensen 在 Oregon State 校園徵才時選了 AMD 設計微處理器，後來因為 EDA 產業剛起步，去了 LSI Logic，在那裡遇到許多頂尖的電腦架構師。
02:55被拉去創業創業不是 Jensen 的主意，兩位共同創辦人不斷說服。當時業界幾乎都押通用運算，只有約 1% 相信加速運算，三人決定做加速運算。
04:47CUDA 與那條線為了讓 GPU 更通用而發明 CUDA。越通用加速就越少，所以得找到平衡線；當時是 a billion dollar 的市場，每年投入 150 million dollars，要追上研發預算全球最大的 CPU。
08:19架構一律相容為了吸引開發者，每顆晶片都跑得一樣。前五到十年 CUDA 客戶很少；毛利一開始就差、後來更差，產業競爭激烈之外，又疊上一個沒有應用、沒人付錢的 CUDA。
10:05GeForce 與早期應用CUDA 是靠 GeForce 這張遊戲卡帶到世界。早期先鎖定科學運算，例如分子動力學與地震資料處理，去問科學運算中心還有哪些問題搆不到。
11:362012 年的轉折Andrew Ng 找上首席科學家 Bill Dally，Hinton 與 LeCun 的實驗室也差不多同時來找，都想把神經網路放上 GPU。主持人提到 AlexNet 也在那一年，Jensen 則說 ImageNet 是大爆炸。
13:15一種新的寫軟體方式Jensen 說這不只是電腦視覺的新演算法，而可能是寫軟體的新方法，NVIDIA 因此開始思考對晶片、系統、互連與系統軟體的影響。
15:21從 Transformer 到 ChatGPT主持人問平台轉移。Jensen 說 Transformer 能平行訓練、能擴大，早期語言模型他們自己也訓練過；等到人類回饋的強化學習、檢索與對話管理拼起來，才有 ChatGPT。
17:45用人話寫程式Jensen 回應 Elad 前面的問題：程式設計第一次被徹底顛覆，寫程式的語言變成任何人類語言。也舉例：模型一步步推理卻答錯，叫它寫程式反而解對，這點很值得細想。
20:21該往上走到哪一層NVIDIA 是運算平台，要往上走到開發者夠用為止，所以才自己重寫演算法，做出 cuDNN、RTX。未來的開發者會是使用大型語言模型的人；NVIDIA 只在自己擅長的領域考慮做基礎模型，例如 3D 虛擬世界與機器人。
24:17盡量偷懶公司原則是能少做就少做、該做的做到位，並用「先拒絕、再拖延」的電腦科學原則比喻。
25:05長期押注與賺錢能力主持人提到十年前認識時 NVIDIA 市值只有現在的百分之一，問上市公司怎麼兼顧長期押注。Jensen 說投資未來與現在活得下去並不衝突；信念是一回事，賺錢是學得會的技能，自己前 20 年都還在摸索；真正相信的事就是公司唯一的目的。
29:29有沒有懷疑過Jensen 說從沒懷疑過加速運算，並認為 CPU 對某些應用在 12 年前就走到頭。
31:02公司不該是同一種架構多數公司的組織圖都像美軍，Jensen 說不該這樣；自己有四十幾位直屬主管、沒有一對一，全公司只用一套電腦架構與指令集。
35:00兩種運作方式主持人提到在 Google 時有核心、核心周邊與高度實驗三塊的資源配比框架，Jensen 說沒有這種框架。公司一部分負責把複雜電腦做到完美，另一部分像 Skunk Works，投資不順就把資源移走。
36:50H100 的兩大突破Jensen 說 Hopper 的關鍵是數值格式降到 8-bit 浮點，另一個是 Transformer Engine，專為學習與推論 Transformer 設計管線。
38:38機器人與自駕的下一步Jensen 對自駕有信心，也相信會出現機器人基礎模型，用人類語言驅動機械系統；被問到障礙時說不知道；時程猜不到 10 年、大概 5 年左右。
40:57還在看的新架構Transformer 有一堆衍生版本。Jensen 提到 NVIDIA 從 GAN 開始，做了風格轉換與高解析度圖像生成，一路連到 VAE 與 diffusion model；接下來是多模態，以及生成蛋白質與化學物質。
42:29給創業者的話主持人問建議。Jensen 說創業很痛苦，不太想給建議，因為建議多半會把人嚇退；無知是創業者的超能力，還要在堅持信念與保持敏捷之間取得平衡，並且有能忘掉痛苦的韌性。
48:08十年後想做到的事Elad 問十年、二十年後想完成什麼。Jensen 站在十年後回頭看：藥物發現與醫療，以及氣候科學的多物理基礎模型。NVIDIA 做的系統分別叫 Earth Two（氣候）與 Clara（醫療）。

值得記的話5 句

We're not trying to be an AI model company, we're trying to help industries create AI models.我們不想當 AI 模型公司，我們想幫各產業做出 AI 模型24:02
Making money is not a matter of conviction, making money is a matter of skill.賺錢不靠信念，賺錢是一種技能26:07
If you are doing something that's barely possible, you call us.如果你在做勉強才做得到的事，你就會打給我們28:25
I think ignorance is one of the superpowers of an entrepreneur.我認為無知是創業者的超能力之一44:00
I believe in what I'm doing on the one hand and I simultaneously believe that I could be wrong on the other hand.我一方面相信自己在做的事，同時也相信自己可能是錯的46:17

名詞與人物12 個

Jensen Huang: NVIDIA 創辦人暨執行長，本集來賓。
accelerated computing: 針對通用運算做不到的問題，用專門硬體加速，是 NVIDIA 創業時的主軸。
CUDA: NVIDIA 發明的運算模型，讓 GPU 更通用；每顆晶片維持架構相容。
GeForce: 遊戲顯示卡，Jensen 說 CUDA 就是靠它帶到全世界。
cuDNN: 為加速深度學習而設計的領域專用函式庫。
RTX: NVIDIA 在電腦圖學光線追蹤上的領域函式庫。
Transformer Engine: H100 為學習與推論 Transformer 設計的管線。
Bill Dally: NVIDIA 首席科學家，2012 年前後 Andrew Ng 找的就是這位。
FP8: 8-bit 浮點數；Jensen 說對照科學運算常用的 64-bit，可大幅提升 AI 超級電腦效能。
Skunk Works: Jensen 用來形容公司內押注十年後、不確定能否成功的那部分組織。
Earth Two: NVIDIA 的氣候科學系統。
Clara: NVIDIA 的醫療與健康照護系統。

提到但沒有展開

Jensen 說有人估計，氣候模擬需要的運算量比現今最快的超級電腦多出 1 billion 到 10 billion 到 100 billion 倍，並希望靠 AI 把運算量降低 1 billion 或 10 billion 倍。
聊到加密貨幣時期，Jensen 說公司曾從完全沒有供給變成供給過多，那一季差了 2 billion dollars；一般執行長差個 15 million dollars 就算多了。

在 YouTube 看原片 ↗

NVIDIA