152 · AI 算力這筆錢怎麼籌
Who's Actually Funding the AI Buildout?
Magnetar 負責 AI 基礎設施的 Neil 談 CoreWeave 的起點、以合約現金流為擔保的債務結構、推論帶來的新需求,以及電力、主權與軟體股的看法。
152 講了什麼
- 從 CoreWeave 切入Neil 說 Magnetar 2021 年認識 CoreWeave,當時對方正從挖以太幣轉向高效能運算,第一筆投資早於 AI 熱潮。後來 CoreWeave 為 OpenAI 訓練模型,Neil 認為讓它勝出的是 scale 與 reliability。
- 資本支出靠股權撐不起Neil 提到 2026 年 hyperscalers 的 AI capex 預估在 660 到 690 billion dollars 之間,並說光靠股權會造成大量稀釋,所以融資結構才是常被忽略的一環。
- 擔保品是合約現金流Neil 解釋這類 SPV 債務的主要擔保是投資等級客戶的合約現金流,GPU 只是第二或第三層;債務在四到五年內攤還完畢,沒有期末一次付清的款項。
- 瓶頸轉到把晶片變成可用資產Neil 說 2023、2024 年卡在拿不到晶片,2026 年更卡在人、電力與基礎設施。談到推論,Neil 也點出它比訓練複雜,而且更分散。
- 電力問題另有面向Neil 認為電網上有閒置的電力,短期瓶頸在儲能、配電,以及結構鋼、電工、變壓器這類實體條件,並提到 bring your own capacity 的做法。
- 對實體 AI 與軟體股的看法Neil 認為實體 AI 也需要資本,會走類似算力市場的融資;對軟體股被一起拋售,則覺得反應過頭,因為要看個別公司。
從哪一段開始看15 段
- 00:05開場與 Magnetar主持人介紹來賓是 Magnetar 負責 AI 基礎設施的 Neil;Neil 說 Magnetar 今年是第 20 年,三大策略是私人信貸、創投與系統化的公開市場策略。
- 01:41為什麼投 CoreWeaveNeil 說 2021 年認識 CoreWeave,當時正從挖幣轉向高效能運算,首個用途是視覺特效;Magnetar 本來沒有資料中心投資,但有能源與房地產背景。
- 04:19CoreWeave 為何勝出2023 年 CoreWeave 開始替 OpenAI 訓練模型;Neil 把勝出歸因於 scale 與 reliability,並說創辦人的能源資產管理背景有幫助。
- 06:24規模與資本結構Neil 提到 2026 年 hyperscalers 的 capex 預估在 660 到 690 billion dollars,並說光用股權會造成大量稀釋,資本如何結構是少被談的部分。
- 07:41SPV 債務怎麼設計Neil 說明 SPV 內的擔保品主要是投資等級客戶的合約現金流,GPU 為第二或第三層;債務四到五年攤還完,期末無餘額,殘值歸雲端業者。
- 11:41工具如何演進Neil 說早期只有投資等級的對手,現在開始混入 AI 原生公司,用投資等級搭配非投資等級來平衡風險。
- 13:01供給瓶頸與新晶片Neil 說瓶頸已從拿到晶片轉到蓋出並營運資料中心;談到 Dylan Patel 的文章,Hopper 換 Blackwell 的推論效率宣稱 30 倍,分析顯示是 90 到 100 倍。
- 15:22循環融資的質疑主持人請 Neil 回應循環融資;Neil 從需求訊號與實際經濟價值切入,認為擔憂適用於投機性算力或純供應商融資,不是 Magnetar 看到的情況。
- 17:42推論的新問題Neil 說推論比訓練複雜,涉及延遲、尖峰、記憶體吞吐量與 prefill、decode 的取捨,並提到分散式推論叢集與訓練叢集長得很不一樣。
- 21:09應用層想自建基礎設施Neil 說應用層公司最大的 COGS 是算力,推論雲多半向別人買算力而疊出多層毛利,因此有人想擁有自己的基礎設施。
- 23:14AI factoriesNeil 談 NVIDIA 的 AI factories 概念,認為大企業會想要自己控制、放在公司旁邊的專屬算力。
- 24:49電力與短期瓶頸Neil 說電網上有閒置電力,短期要解的是儲能與配電;實體瓶頸是結構鋼、電工、變壓器與冷卻設備,並提到 bring your own capacity。
- 28:30主權的算力建設Neil 說各國把算力視為國安,資金可用政府資本;Neil 看到的兩個重點是誰有能力建,以及資安。
- 29:47實體 AI 的資本需求Neil 認為從 2021 年起市場轉為重資產,實體 AI 是延伸,需要像算力市場一樣靈活的資本;主持人補充自己現在在兩家機器人公司的董事會。
- 32:53資金離開軟體股Neil 認為 2025 年底到 2026 年 AI 有明顯進步,但軟體股被一起拋售有點過頭,要看個別公司;主持人則說要自己挑。
值得記的話5 句
the GPUs themselves were actually like the second second or tertiary level of collateral in those instruments
Neil 說,GPU 本身在這類工具中只是第二或第三層擔保品09:34inference is definitely a memory problem a memory throughput problem
Neil 說,推論明顯是記憶體、記憶體吞吐量的問題18:59for every application layer company out there the highest line item from cogs is compute
Neil 說,每家應用層公司最大的銷貨成本都是算力21:09there's actually quite a bit of stranded power across the grid across the country
Neil 說,全國電網上其實有不少被卡住的電力25:20it's not just the product it's the way that's integrated across multiple services and systems across the enterprise that is a lot more difficult to just replicate
Neil 說,難複製的不只是產品,而是它跨企業多項服務與系統的整合方式34:58
名詞與人物12 個
- Magnetar
- Neil 任職的 alternative asset manager,三大策略是私人信貸、創投與系統化的公開市場策略
- CoreWeave
- Neil 說 Magnetar 2021 年首次投資的 GPU 雲,後來為 OpenAI 訓練模型
- SPV debt structure
- 以 SPV 持有 capex、GPU 與合約的債務結構;Neil 說主要擔保是合約現金流
- investment grade (IG)
- 信評為投資等級的客戶,例如 Neil 舉的 Microsoft、Meta 這類公司
- take-or-pay
- 主持人用來形容這類合約的說法,Neil 說合約的對手是投資等級客戶
- amortize
- 債務在期間內逐步還完,Neil 說這類結構到期末餘額為零、沒有 balloon payment
- neocloud
- Neil 與 hyperscalers 並列提到的大規模雲端業者,兩者都在蓋大型雲端環境
- prefill / decode
- Neil 提到的推論兩個階段,如何在 GPU 叢集上最佳化是獨特的技術問題
- distributed inference
- 把推論拆到多個較小的資料中心,Neil 舉例是五個各約四、五 megawatts 的資料中心
- AI factories
- Neil 談到 NVIDIA 的概念,指放在企業旁邊、專屬其工作負載的算力
- stranded power
- Neil 說電網上為尖峰需求而建、卻閒置的發電能力
- bring your own capacity
- 電網連接量有限時,自行加上太陽能、天然氣渦輪等來讓場址可用的做法
提到但沒有展開
- Neil 提到 Silicon Data 上週發表的分析:兩份紙面上看起來一樣的算力,在可靠度、成本與速度上差異很大,這讓分散式推論要混用不同算力時更難最佳化。
- Neil 拿 2000 年代初的光纖過度建設對照:當時留下大量 dark fiber,現在看不到閒置的 GPU。Neil 也提到去年 enterprise AI 的總 TAM 約 37 billion。
- Neil 說 Magnetar 投資了一家叫 Taurus 的公司,做分散式的公用事業層,把各來源多出的電力儲存起來,在需要時再配送。
