Modal

096 · 把 GPU 做成隨取隨用的雲端

23:37YouTube 上架 2025-01-09Erik Bernhardsson（Modal CEO）

No Priors Ep. 96 | With Modal CEO and Founder Erik Bernhardsson

Erik Bernhardsson 從 Spotify 的推薦系統一路講到 Modal：為什麼要讓雲端開發像本機一樣快、GPU 為什麼不該綁長約，以及對向量資料庫、自己訓練模型和軟體工程師需求的看法。

096 講了什麼

• 起點是想讓雲端開發變順手Erik 在 Spotify 做過推薦系統，也寫過不少基礎設施。覺得用雲端很煩，想讓雲端開發的回饋速度像本機一樣快，所以丟掉 Docker 與 Kubernetes，自己做 file system、scheduler 和 container runtime，頭兩年都花在這層地基上。
• 兩個面向的產品一邊是跨客戶共用的大型運算池，有數千張 GPU 與 CPU，Erik 說要 100 張 GPU 通常幾秒內拿得到；另一邊是 Python SDK，把函式變成雲端的 serverless function，容器化與底層細節由 Modal 處理。
• 第一個殺手級應用來自 stable diffusion真正帶動成長的是 stable diffusion 出現之後，一批人看上不用自己開機器、配環境就有 GPU 可用。現在用量仍有很多是文字生圖，也有不少音訊與音樂，Erik 舉的例子是 Suno 把推論全放在 Modal 上。
• GPU 不該只能簽長約Erik 認為雲端的好處是隨需取用，GPU 卻因為稀缺多半要簽長期合約，對新創不合理。推論的用量難預測，Modal 只按容器實際執行的時間收費，用大池子吸收尖峰。
• 想一路做到訓練與批次處理目前主力是推論，Erik 也想做較短、實驗性質的訓練，不碰最大規模的訓練。現在已經有很多客戶拿 Modal 做批次前處理，Erik 舉的例子是訓練影片模型：先在 Modal 上擷取特徵，到別處訓練，再回來做推論。
• 對 AI 與軟體業的看法Erik 認為 AI 是開發者生產力的又一次提升，和編譯器、高階語言、資料庫、雲端同類；過去每十年工程師的生產力大約提高 10 倍，結果都釋放出更多對軟體的潛在需求，所以看好軟體工程師。

從哪一段開始看15 段

1. 00:03開場與 Spotify 背景主持人介紹 Erik 與 Modal。Erik 說自己 2008 年進 Spotify、待了七年，做音樂推薦，也寫過 workflow scheduler Luigi 和一個向量資料庫，後來在 better.com 當 CTO，疫情期間決定做資料與 AI 的基礎設施。
2. 01:36讓雲端像本機從開發者生產力出發：雲端用起來很煩，想讓雲端開發像本機一樣回饋快。因此捨棄 Docker 與 Kubernetes，自建 file system、scheduler 與 container runtime，前兩年都在打底層。
3. 02:23產品長什麼樣Modal 是 infrastructure as a service：一個多租戶的大型運算池，加上 Python SDK，把函式轉成雲端的 serverless function，客戶不用管容量規劃與容器。
4. 03:09stable diffusion 帶來第一批用戶真正帶動成長的是 stable diffusion 出現之後。客戶仍以文字生圖居多，也有音訊、音樂、影片與圖像模型，Suno 的推論全跑在 Modal 上。
5. 04:28GPU 彈性與長約問題主持人問 GPU 浪費與彈性。Erik 說 GPU 貴，雲端容量多半得簽長約，目標是讓 GPU 像 CPU 一樣隨時取用；推論用量難預測，Modal 只收容器實際跑的時間。
6. 07:02訓練與端到端平台目前以推論為主，但對短的、偶發的實驗性訓練有興趣，大型訓練是另一個市場。Erik 想涵蓋資料前處理、訓練、推論，已有很多客戶用 Modal 做批次前處理，例如先擷取影片特徵、再到別處訓練。
7. 09:06跟同類公司的差別Erik 說 Modal 是「cloud maximalist」，走多租戶運算池，容量管理做得更好；另一點是通用，執行使用者自己的程式，不只做推論或 LLM，冷啟動也因此要自建底層。
8. 10:23企業與 hyperscaler主持人問大型企業已綁定 AWS、Azure、GCP，為何要選第三方。Erik 回頭講 2008、2009 年自己曾覺得把運算放上雲端很瘋狂，2012 年左右聽 Snowflake 說要在雲端跑資料庫也覺得太扯，認為多租戶模式會走同一條路，只是還要用力推。
9. 12:44熱門的開源模型Erik 說近來反而有點往較專有的模型移動，提到 Flux 最近很受關注；個人最有興趣的是音訊，認為開源模型在那裡機會很大，但還沒看到很驚豔的東西。
10. 13:31基礎設施還缺什麼Erik 自認有偏見，覺得缺的是讓工程師把程式碼丟上去跑的好辦法。儲存方面則很好奇向量資料庫與更有效率的訓練資料儲存；也期待訓練不再那麼吃頻寬，能把不同資料中心的 GPU 接起來，不必依賴配 InfiniBand 的大型機房。
11. 15:03向量資料庫的未來主持人問獨立的向量資料庫和 Postgres 加 pgvector 之間怎麼取捨。Erik 說關鍵是 AI 原生的儲存形態，也許資料庫本身就是 embedding engine，放進文字、影片、圖片就能直接搜尋。
12. 16:54何時該自己訓練模型模型品質是核心的公司，若沒有自己的模型，就得在技術堆疊別處找護城河。非 LLM 領域，如音訊、影片、圖像，Erik 認為幾乎一定要自己訓練。
13. 17:58軟體工程師的需求主持人問有沒有反共識的預測。Erik 說 AI 只是歷來眾多生產力提升之一，過去四十年工程師的生產力每十年大約提高 10 倍，反而釋放出更多軟體需求，所以看好軟體工程師。
14. 19:18物理與模擬主持人提到 Erik 贏過瑞典高中物理競賽，問物理類 AI 模型。Erik 覺得物理在 1920 到 40 年代的黃金時期之後沒什麼演進；對談中也提到這類模型短期內幫的多半是模擬而不是基礎研究，而 HPC 長期靠為特定用途手工調整的小模型。
15. 22:09最期待的影響：AI 音樂Erik 最興奮的是 Suno 這類 AI 生成音樂：現在還聽得出不自然，但每一代模型都在進步。音樂常是新技術最早看到影響的領域，而 Suno 這種產品五年前不可能存在。

值得記的話5 句

• working with the cloud is arguably kind of annoying用雲端可以說是有點煩人01:36

• the only way to get it is to sign long-term commitments唯一拿得到容量的辦法，就是簽長期合約；指的是 GPU04:44

• my vision has always been this should be the same thing for gpus我的願景一直是 GPU 也該像 CPU 一樣，要多少馬上有多少05:15

• you put text in you put you know video in you put image in and you can search by that放進文字、影片、圖片，就能直接拿它們來搜尋；講的是想像中的 AI 原生儲存16:22

• I'm very bullish on software Engineers I think it would take a lot to sort of destroy that demand我很看好軟體工程師，要摧毀這份需求沒那麼容易18:45

名詞與人物9 個

Erik Bernhardsson

Modal 創辦人兼 CEO，曾在 Spotify 帶機器學習團隊、做推薦系統，後來在 better.com 當 CTO。

Modal

提供 serverless 雲端平台，讓人用 Python 函式跑 AI、機器學習與資料應用。

Luigi

Erik 在 Spotify 寫的 workflow scheduler，Erik 說現在幾乎沒人用。

serverless function

Modal 把使用者寫的 Python 函式轉成雲端執行的單位，容器化由平台處理。

多租戶運算池

把許多客戶的工作放進同一個大型 GPU 與 CPU 池，吸收用量尖峰。

Suno

AI 生成音樂的公司，推論全跑在 Modal 上。

Flux

Erik 提到近來受關注的圖像模型。

R2

沒有 egress 費用的儲存服務，Erik 說可用來降低頻寬成本。

向量資料庫

Erik 在 Spotify 做過一個；這集討論它與 Postgres 加 pgvector 的取捨。

提到但沒有展開

• Erik 承認企業對多租戶模式還有些抗拒，但認為順風不少：安全正從網路層移到應用層，頻寬成本在下降，資料也能放在 R2 這類沒有 egress 費用的儲存省傳輸成本。
• 談到科學應用時，Erik 認為深度學習應該很適合氣象與亂流預測，也看到計算生物學回溫；Modal 上有客戶拿來處理電子顯微鏡的醫學影像做電腦視覺。

在 YouTube 看原片 ↗