推論平台與自建還是買

056 · 推論平台與自建還是買

38:33YouTube 上架 2024-03-21Tuhin Srivastava（Baseten CEO）

No Priors Ep 56 | With Baseten CEO and Co-Founder Tuhin Srivastava

Tuhin Srivastava 談 Baseten 做了四年半的推論平台：推論和訓練差在哪、為什麼速度是最大優勢、客戶怎麼在共用端點與自架之間選，以及企業導入 AI 的節奏。

056 講了什麼

推論和訓練是兩種工作Tuhin 說推論的叢集要跟工作負載放在一起、停機不能接受，各家客戶要的流程也大同小異；訓練的現況則是「給我 SSH keys，讓我自己跑」，機架上的網路比較要緊。
速度是第一優勢2019 到 2022 年市場很安靜，2022 年底到 2023 年的加速讓 Baseten 也嚇一跳。Tuhin 說連企業都開始明白不拚速度就會落後，所以比以前更願意買基礎設施、不自己蓋。
部署分三個階段先用共用端點；要自己的 SLA、怕 noisy neighbors、顧慮資料隱私時改用專用運算；大型客戶則想把模型放進自己的 AWS 或 GCP，用掉手上的雲端承諾額度。
企業的短期與長期落差Tuhin 認為大家高估了企業未來 12 到 18 個月的規模，卻低估了三到五年後的樣子。有客戶拒絕預付一年運算費，理由是這筆錢已經是薪資之後的第二大支出。
營收曲線不像一般 SaaSSarah 說有些公司在推論上花很多、人反而少，照樣是很有價值的生意；Tuhin 說這種消耗型合約很難用傳統 SaaS 的倍數去看。主持人也提到同一個市場有三家公司在一年內從零做到 500 萬或 1000 萬營收，接著就得問護城河在哪。
自己蓋常常是繞路Tuhin 說「有沒有自己蓋過」是他們最準的客戶資格判斷，並舉一個四人團隊蓋了兩年的東西，36 小時就全部搬進 Baseten。

從哪一段開始看15 段

00:00Baseten 是什麼Tuhin 說 Baseten 替做大型模型的工程團隊提供快速、可擴充的 AI 基礎設施，目前專注推論，已經做了四年半。
01:19不是 no code主持人問 no code 與 efficient code 差在哪。Tuhin 說工程師要能轉底層的旋鈕，所以他們做的是好用的抽象：簡單的事很簡單、難的事也做得到，並且要解決「graduation problem」。
02:22平台上跑什麼從週末的小專案到基礎模型公司都有；Tuhin 舉 Descript、Patreon 的 AI 功能，也提到一家做客服中心 SDK 的小團隊，以及 Picnic Health 從病歷擷取資訊的模型。
04:12訓練與推論不同主持人問兩種工作負載是否不同。Tuhin 說推論的流程在客戶之間高度重複，可靠度與停機更要緊；訓練比較在乎機架上的網路。
06:18最意外的事Tuhin 說 2019 到 2022 年相對安靜，之後市場的加速出乎意料；各團隊行動之快也讓 Tuhin 確定速度才是優勢，大家因此更願意買而不是自己蓋。
08:40為什麼推論難主持人提到 Baseten 在 Artificial Analysis 的吞吐量與延遲基準上領先。Tuhin 說難處有流程、擴充與可靠度，以及效能優化；他們與 NVIDIA 合作 TRT-LLM，也談到 speculative decoding 與每秒 token 數的演進。
12:03其他模型與延遲談 Whisper 與影像模型的即時需求，主持人問為什麼生成還這麼慢。Tuhin 列出更好的硬體、continuous batching、speculative decoding 與更小的模型。
15:44共用、專用還是自架客戶從共用端點開始，再因為 SLA、資料隱私與成本改走專用運算；大型客戶更傾向放在自己的雲端。
18:05企業採用的時程主持人認為多數企業還在規劃期，問一到兩年後的用量。Tuhin 說企業多半從 copilot 開始，接著試 OpenAI 或 Anthropic，並舉一個四名工程師的客戶，單一用例的年支出就到數十萬美元。
22:01推論變成大支出Sarah 說在推論上花很多、人更少，也能做出很有價值的公司；Tuhin 舉客戶拒絕預付一年運算費，因為那已經是薪資之後的第二大支出。
24:25營收暴衝與護城河主持人對照 90 年代網路與電信建設，談現在推出沒幾個月的產品就快速成長，要怎麼建立防禦。Tuhin 以醫療筆記市場為例，主持人補充寡占結構與多年合約。
27:15金融服務與吃不掉的公司談醫療以外哪些產業會被顛覆：金融服務十年前搶先做大數據，這次採用大型模型反而慢。主持人接著想找「AI 吃不掉」的公司。
28:46創投會被自動化嗎Sarah 說早期投資缺的是關於人的資料、沒有數位足跡，加上技術版圖一直在變，決策很難自動化。
31:06GPU 短缺與異質硬體Tuhin 說 Baseten 現在取得算力快多了，但客戶要拿最高階的晶片，仍常要跟雲端業者談三到六週；至於在 AMD 晶片上跑出類似 CUDA 的東西，Tuhin 覺得難度被講得太輕鬆。
35:13自己蓋還是買Tuhin 說客戶獨有的是模型、資料與流程，重複的是基礎設施；舉四人團隊 36 小時搬完、一家每天跑十億 token 的聊天機器人公司，說明自己蓋不划算。

值得記的話4 句

speed is actually your number one advantage速度才是你的第一優勢07:21
we're probably overestimating how big Enterprise will get in the next 12 to 18 months我們大概高估了企業在未來 12 到 18 個月會長多大19:55
customers are still struggling with availability for the most premium chips客戶要拿到最高階的晶片還是很辛苦32:24
what is proprietary to them is models data and workflow what is repeated for them is infrastructure他們獨有的是模型、資料和流程，重複的是基礎設施35:46

名詞與人物11 個

Baseten: Tuhin 共同創辦的公司，替做大型模型的團隊提供 AI 基礎設施，目前以推論為主。
Tuhin Srivastava: Baseten 的 CEO 與共同創辦人。
inference: 模型部署後實際產生輸出的階段；Tuhin 說它比訓練更重視可靠度與重複的流程。
graduation problem: Tuhin 的說法：基礎設施產品要能陪團隊一路擴張，不能長大就得換掉。
TRT-LLM: NVIDIA 的 LLM 引擎；Baseten 與 NVIDIA 合作，也貢獻過程式碼。
speculative decoding: 近半年才開始實際使用的加速技術，讓每次生成更快，或把一部分工作交給另一個模型。
continuous batching / dynamic batching: Tuhin 列為軟體層的優化，讓批次處理更容易平行。
shared endpoint: 多個客戶共用的模型端點，會有 noisy neighbors 的問題。
noisy neighbors: 同一個共用端點上別人的流量暴增，自己的模型呼叫也跟著變慢。
Whisper: 語音辨識模型；Baseten 前一天才讓它跑在 TRT 上，Tuhin 也拿它說明醫療筆記市場的變化。
Nuance: Tuhin 舉的例子：多年把持醫療筆記市場，Whisper 出現後這個市場變得很快。

提到但沒有展開

Tuhin 認為語言模型的推論效能遲早會商品化，更多東西應該會在本機跑；這對 Baseten 這種雲端業者不一定是好事，但模型確實越來越小、越來越有效率。
Tuhin 提到 Sunrun 這種做太陽能板的上市公司，流程量很大，AI 能吃掉不少作業。

在 YouTube 看原片 ↗

Baseten