Coding Agent 讓 CUDA 的移植成本明顯下降,黃仁勳轉而把 AI Factory 做成可投資的資產,建立資本護城河。後半談 Moderna 的 AI 個人化 mRNA 癌症療法。
重點
移植成本被 Coding Agent 打下來。哈利把 CUDA 護城河限定在軟體可攜性與移植成本。他說從年初到現在 Coding Agent 的寫程式能力大幅提升,軟體移植、效能優化又是有清楚驗證目標、能自己閉環迭代的問題,所以 AI 特別擅長;他認為這道護城河確實在削弱、在消失。
Anthropic 的 AMD 例子。哈利轉述 Tom Brown 在 AMD 活動上的說法,Anthropic 拿到 AMD 機櫃後,把「讓模型在上面跑得越來越快」直接派給 Claude,一個週末下來效能提升了很多。哈利也說,這不代表 AMD 追得上 NVIDIA Blackwell 的每瓦效能。
NVIDIA 轉向資本護城河。哈利說 NVIDIA 宣布與 BlackRock、Goldman Sachs、Apollo 這類機構合作,動員超過 5000 億美元第三方資金蓋 AI Factory。用商用房地產與希爾頓的關係來比,擁有者出錢、CoreWeave 這類營運者只管經營,融資瓶頸就能鬆開。
為什麼 NVIDIA 最適合當資產。哈利認為資產類別要有殘值、好轉手,目前只有 NVIDIA 的 AI Factory 符合:GPU 通用、二手市場最大、有標準化的 Reference Design。成功的話融資成本最低,會不斷自我增強。
泡沫風險與成敗條件。哈利說這會加速 Overbuild,真有泡沫時會變成系統性問題,但他看不到泡沫跡象。成敗他列兩項:GPU 持續產生穩定現金流、殘值撐得住;三年內他有信心,三年以後不確定。這計畫成不成,他說超出自己的專業。
Moderna 的療法與 AI 的角色。第三階段臨床試驗達標,數據尚未釋出,第二階段是降低復發與死亡風險 49%,Moderna 股價漲了一倍。哈利推測用的是較傳統的 AI,不是生成式 AI,並認為醫療進展的瓶頸是實驗時間。
時間軸 點時碼從那一段開始
- 資本護城河的新聞黃仁勳想把 NVIDIA AI Factory 變成可被投資的資產類別。哈利說這則新聞沒什麼人討論,卻能看出 NVIDIA 的策略重心。
- 免責聲明與 CUDA 定義哈利先聲明看多 NVIDIA 至少兩三年,並把 CUDA 護城河限定在軟體可攜性與移植成本,再簡單解釋 CUDA 是什麼。
- CUDA 原本有多強多數人仍覺得它是最強護城河。CUDA 2006 年推出,AI 年代之前就有 cuBLAS、cuDNN,ROCm 比不上,優化又先在 NVIDIA 上做,不斷自我增強。
- Coding Agent 解鎖軟體移植年初以來 Coding Agent 能力大增,哈利看到不少獨立開發者用它搬軟體。他舉 OpenFPM 把 CUDA 程式碼轉譯到 Mac 的 GPU 上跑。
- 為什麼 AI 擅長這件事kernel 對人類是最難的 coding,但移植與效能優化有可驗證的結果,agent 可以自己寫、跑、改,不斷迭代。
- Tom Brown 的 AMD 案例Anthropic 共同創辦人 Tom Brown 講到,原本預期很浩大的工程,只是派給 Claude,週末就一路提升效能。
- 移植成本確實下降能跑在 AMD 上不等於追上 Blackwell 的每瓦效能。但軟體移植成本下降是事實,連 kernel 工程師自己都說工作要被取代。
- AI Factory 與極致協同設計CUDA 已不是 NVIDIA 最重要的護城河。AI 硬體現在講的是整座 AI Factory,從 GPU、NVLink、HBM 到供電、水冷、軟體全部一起優化。
- 資本護城河與循環融資NVIDIA 用資產負債表幫買不起 GPU 的客戶創造購買力,也用投資條件吸引 NeoCloud 選它,也就是外界說的 circular financing。
- 融資瓶頸NVIDIA 的現金有上限。CSP 與 CoreWeave 這類 NeoCloud 靠自己的資產負債表借錢蓋資料中心,也有上限,市場因此缺算力。
- 黃仁勳的妙招把 AI Factory 變成可被投資的資產,讓新錢進來。NVIDIA 宣布與 BlackRock、Goldman Sachs、Apollo 合作,動員超過 5000 億美元第三方資金。
- 商用房地產與希爾頓資產類別能讓使用者、營運者和擁有者切開。希爾頓只負責經營,房地產由保險公司、銀行、PE、REIT 持有,所以更 asset-light。
- 解開融資瓶頸CoreWeave 只要經營、向擁有者租 AI Factory,擴張更快,NVIDIA 能服務的市場(TAM)也更大。
- 為什麼 NVIDIA 最適合資產要有殘值、好轉手。GPU 通用,模型架構怎麼變多半都跑得動,二手市場最大,又在推標準化的 Reference Design,TPU 就不好接手。
- 成功後的最好情況退休基金、保險、ETF 都能投資,成為數兆美元的資本市場。融資成本最低,install base 更大,連 AMD 追上也打不贏這道護城河。
- 加速器也加速泡沫計畫是加速器,泡沫若出現會加速 Overbuild,且變成系統性問題。哈利說完全沒看到泡沫跡象,大模型典範被推翻的可能性越來越低。
- 能不能成功與現金流哈利說金融面超出自己的專業,只談技術上的兩個條件。第一個是 GPU 要有穩定現金流,三年內他看不到 GPU 失去地位,三年後不確定。
- 殘值與 A100黃仁勳舉例,A100 推出六年後租賃價格仍有水準。哈利認為是 NVIDIA 持續迭代舊卡的軟體,只要相信 GPU 主宰,這點不用太擔心。
- 最強的護城河是黃仁勳哈利說黃仁勳贏的時候不得意忘形,立刻思考護城河能撐多久,他投資 NVIDIA 有一部分是相信老黃跟得上市場。
- Moderna 的癌症療法新聞第二個話題。Moderna 宣布 AI 個人化 mRNA 癌症療法通過第三階段臨床試驗。哈利說療法是在腫瘤切除後防止復發,AI 負責從上百上千個突變選出 34 個。
- 第三階段達標與股價具體數據還沒釋出,第二階段降低復發與死亡風險 49%。Moderna 股價直接漲了一倍。
- 適用範圍與用的是哪種 AI測試對象主要是黑色素瘤,肺癌、腎癌、膀胱癌等有待觀察。哈利推測用的不是生成式 AI,而是較傳統的統計類模型。
- 與 Dario 講的路線不同Dario 說的是生成式 AI 設計實驗。哈利認為本質都是在高維度空間裡搜尋最佳選擇,並深信 AI 有可能解決癌症。
- 瓶頸是實驗時間就算 AI 立刻找到解方,也要好幾年追蹤與臨床試驗才能確認安全有效,所以奇點不會來得那麼快。
值得記的話
▶ 18:52「無可否認的一個事實,就是軟體移植成本真的下降了」
▶ 20:05「CUDA 護城河確實真的是要消失了但這也不代表 NVIDIA 要完蛋了」
▶ 32:38「有兩個關鍵條件一定要達成,就是有殘值而且好轉手」
▶ 48:20「NVIDIA 這間公司最強的護城河就是黃仁勳這個人就是黃仁勳的偏執」
▶ 56:57「AI 在醫療方面的進展的瓶頸,不是 AI 的智能也不是 Token 的成本,是實驗的時間」
名詞與人物
- CUDA
- 讓非遊戲運算的應用在 NVIDIA GPU 上跑得好的軟體平臺;哈利談的護城河,指的是搬到別家晶片的移植成本。
- 資本護城河
- 哈利的說法,不是專業名詞:NVIDIA 用資產負債表與外部資金,讓更多人買得起、選用 NVIDIA GPU。
- AI Factory
- NVIDIA 對整套 AI 算力基礎設施的說法,從晶片、機櫃到網路、供電、水冷與軟體。
- Extreme Co-Design
- 極致協同設計:AI Factory 內所有零組件,從硬體到軟體一起做最佳化。
- NeoCloud
- 買 NVIDIA GPU 再出租算力給 AI 公司的業者,例如 CoreWeave、Lambda、GMI Cloud。
- CoreWeave
- 哈利拿來當例子的 NeoCloud;他說它若倒閉,空下來的 AI Factory 必須能轉手。
- circular financing
- 外界對 NVIDIA 投資客戶、客戶再拿錢買 GPU 的說法,例如 NVIDIA 投資 OpenAI。
- asset-light
- 資產輕化:像希爾頓只經營飯店、不持有房地產,營運者不必自己出錢擁有資產。
- 殘值與好轉手
- 哈利列出的資產類別兩個關鍵條件:用幾年後還剩多少價值、有沒有成熟的二手市場。
- verifiable domain
- 有可被驗證結果的問題,哈利說這類問題 AI agent 最容易解決。
- Moderna
- 宣布 AI 個人化 mRNA 癌症療法第三階段臨床試驗達標的公司,AI 演算法與默克藥廠共同開發。
- 個人化 mRNA 癌症療法
- 針對腫瘤切除後防止復發;AI 從癌細胞的突變中選出 34 個目標,做成 mRNA 去激活免疫系統。
延伸
- 哈利說 NVLink 與 InfiniBand 這類互聯技術也是 NVIDIA 早期的護城河,這集先不展開。
- 他提到 Dario Amodei 常說的「AI 會解決癌症」,跟 Moderna 這次用的傳統 AI 是不同路線,但本質都是高維度搜尋。
- GMI Cloud 是哈利之前訪談過的 NeoCloud。