推論雲端的 30 倍成長 · No Priors 筆記

159 · 推論雲端的 30 倍成長

42:57YouTube 上架 2026-05-01Tuhin Srivastava（Baseten CEO）

Baseten CEO Tuhin Srivastava on Custom Models, and Building the Inference Cloud

Tuhin Srivastava 談 Baseten 一年成長 30 倍的原因：客戶幾乎都跑客製化模型，算力供給吃緊，推論與後訓練要接成一個循環。

159 講了什麼

客製化模型是主流Tuhin 說 Baseten 上 95% 以上的 token 屬於客製化的 dedicated inference，幾乎沒有客戶直接跑原版開源權重，除了調品質，也會為效能調整模型。
應用層靠用戶訊號活下去Tuhin 認為訊號若被編進 workflow 而不只是模型，應用公司就能建立護城河，例子是 Abridge 裡臨床醫師對紀錄的修改，以及要好幾個步驟才做完的客服任務。
供給緊縮比外界想的嚴重Tuhin 說閒置算力很少，Baseten 的叢集多半跑在 mid-90s 的使用率，橫跨 18 家雲、90 個叢集；有些新供應商連 SLA 都不懂，真正可用的好雲只有十來家。
黏著度來自軟體層Tuhin 認為單賣 GPU 沒有黏性，加上推論軟體層才有，前 30 大客戶沒有流失過，年度 NDR 約 400%。
推論與後訓練是同一個問題的兩面Baseten 收購了一支研究團隊，Tuhin 說訓練方式會影響量化方式，推論產生資料與 eval，又回頭餵給後訓練。
成本下降會讓用量變多Tuhin 說開發者在推論變便宜後會讓 agent 跑更久、做更多事，而推論是最後一個市場。

從哪一段開始看19 段

00:05開場與 30 倍成長主持人介紹來賓與議題，並說 Baseten 一年成長 30 倍、預期今年營收超過十億美元；Tuhin 把成長歸因於開源模型跨過門檻、後訓練普及，客戶更想自己掌握推論。
01:55應用層會不會存在主持人問獨立應用層能否在實驗室之外生存；Tuhin 說關鍵是只有該公司拿得到的用戶訊號，若編進 workflow 就能形成護城河。
04:47新創與企業的比例以推論次數算，Tuhin 說目前 99% 來自 AI 原生的應用公司，多數企業還沒上線，之後才會輪到自訂模型的採用。
06:03向大客戶學到什麼Tuhin 說替規模最大的客戶打造產品，以及他們轉述服務企業時的資料保留、部署與延遲需求，等於替 Baseten 預習企業市場。
07:53客戶用哪些開源模型主持人問模型組成的變化；Tuhin 說客戶先追能力、再優化成本，什麼在前沿就用什麼。
09:25中國模型的疑慮Tuhin 沒看過這些模型有內建議程的實際證據，同時主張美國要有自己的開源模型；在 production 跑 DeepSeek 的成本大概是 Anthropic 模型的 20%。
13:02幾乎全是客製化Tuhin 說 Baseten 有 dedicated inference、shared inference 與訓練三項業務，95% 的 token 在第一項，客戶多半用自己的資料修改模型。
14:20收購研究團隊那支團隊原本是 Baseten 客戶；Tuhin 說推論與後訓練互相牽動，推論產生資料與 eval，再回到後訓練。
17:14何時該做客製化Tuhin 建議先用最好的模型證明有值得優化的東西，有了用戶訊號再追求更好、更快、更便宜。
18:33算力供給緊縮Tuhin 說 Baseten 的跨雲技術讓新供應商半天內就能接進來，但供應商良莠不齊，十來家好雲裡 Tuhin 只把三四家放在金級。
21:43預購產能與資金成本Tuhin 說近半年合約期限拉長，1024 張 B200 通常要三到五年合約、約 20% TCV 預付，所以資金成本變得很重要；主持人問這會不會讓上市提早，Tuhin 同意，也說這門生意的營運資金與融資需求跟軟體公司很不一樣。
24:08誰會成為贏家Tuhin 認為單賣 GPU 沒黏性、含軟體層的推論才有；雙方也談到在算力受限的世界，擁有算力本身就是資產。
26:13多晶片的未來Tuhin 預期會有推論專用晶片，但認為短期內很難撼動 NVIDIA 的 CUDA 與開發者生態；其他晶片商若把供給綁給單一買家，生態很難形成。
28:16要投資哪些工作負載Tuhin 列出 runtime 層的 diffusion transformer、sandbox、speculation、KV cache 感知路由、拆開 prefill 與 decode，並把核心產品想成推論與後訓練的循環。
31:08規模才看得到的問題Tuhin 舉前一天首次遇到的 kernel panic 為例，說邊角案例多半是系統層而非 LLM 特有；讓 Tuhin 睡不著的是算力。
33:55招募與團隊文化Tuhin 說公司直到 8 到 18 個月前都很扁平，後來才發現需要領導層；要找能把整個問題交出去的人，並明確定義要找什麼樣的人，不搞英雄文化。
36:46維運文化Tuhin 說基礎設施不能掛，隨身帶著 pager 是文化，不適應的人很快就會離開。
38:18Jevons paradox主持人問降價是否反而增加用量；Tuhin 說開發者會把更便宜的智慧塞進更多地方，agent 也跑得更久。
40:39未來的樣子Tuhin 預期消費者會有「concierge everything」，軟體工程師不減反增，沒有擁抱這波的公司會面臨滅絕時刻。

值得記的話4 句

Everyone comes for capability first because that's really where the economic growth is being unlockedTuhin 說客戶先追能力，因為那是價值釋放的地方，之後才優化成本08:39
No one is just running the vanilla open source weights.Tuhin 說沒有人只是在跑原版開源權重14:05
none of our top 30 customers have ever turned.我們前 30 大客戶從來沒有流失過24:56
it is the last market, right? Like even if there's AGI, all that's left is inference.Tuhin 說推論是最後一個市場，就算有 AGI，剩下的也是推論40:24

名詞與人物11 個

Baseten: Tuhin 創辦並擔任 CEO 的 AI inference cloud。
dedicated inference: Baseten 三項業務之一，提供客製化模型的推論，SLA 依客戶而定；Tuhin 說 95% 的 token 在這項。
shared inference: Baseten 的另一項業務，共用 SLA。
Abridge: Tuhin 舉的例子，醫師使用的 ambient scribe，深度整合進醫院與臨床流程。
OpenEvidence: 主持人與 Tuhin 提到的 Baseten 大客戶之一。
post-training: 用自己的資料與 reward 訊號調整模型；Tuhin 把它和推論看作同一個問題的兩面。
NDR: 淨營收留存率；Tuhin 說 Baseten 年度約 400%。
TCV: 合約總價值；Tuhin 說大型 B200 合約約 20% 預付。
KV cache: 推論時快取注意力的鍵值，Tuhin 提到 Baseten 做 KV cache 感知路由。
prefill / decode: 推論的兩個階段；Tuhin 說 Baseten 開始把它們當成各自的問題處理。
Braintrust: Tuhin 說 Baseten 要與這類 eval 公司整合。

提到但沒有展開

Tuhin 說 H100 已經 4 年半，價格還在漲，並提到可能有 9 年的使用壽命。
主持人提到中國模型的補貼觀點：中國政府實質補貼了這些模型，等於間接補貼美國企業。

在 YouTube 看原片 ↗

Baseten