Foundry

077 · GPU 雲的停車場生意與 compound AI

42:42YouTube 上架 2024-08-22Jared Quincy Davis（Foundry CEO）

No Priors Ep. 77 | With Foundry CEO and Founder Jared Quincy Davis

Jared Quincy Davis 從 Foundry 的做法談起：GPU 為什麼閒置、為什麼常壞、AI 雲為什麼還停在 colocation 的階段，最後談不靠超大叢集、改用大量呼叫模型再驗證的路線。

077 講了什麼

• 做 Foundry 的起點Jared 以 AlphaFold 2 和 ChatGPT 為例，兩者看似小團隊的成果，背後其實有大量算力或 Google 撐腰。Foundry 想把這類算力與工具開放給更多人，讓現在要 10 億美元的事降到 1 億、再到 1,000 萬。
• GPU 利用率比想像低連大型 pre-training 的利用率也常低於 80%，有時不到 50%。原因包括新一代 GPU 常故障、團隊至少要留 10% 到 20% 當 healing buffer，以及訓練之間的空檔。
• AI 雲還像 colocationJared 認為現在的 AI 雲不是原本意義的 cloud，常要簽三年長約、事先備好資金。雲原本的價值是 elasticity，Jared 引 Snowflake 一位創辦人的話：雲讓「快」變成免費。
• 停車場比喻與 spotFoundry 讓人用 pay as you go 的價格停進別人預訂的車位，車主來了就把車自動移走。GPU 的 spot 比一般雲難做，市面上很少，有 interconnect 的更少。
• 世界上其實有很多算力Jared 拿 GPT-3 的訓練跟 Ethereum 挖礦對照，並說就算是 H100，許多情況下利用率也只有 20% 到 25% 或更低。Foundry 也推出主要為自己做的 Mars 工具組。
• 從大叢集轉向 compound AI最大的叢集越來越難取得，Jared 看到的新做法是小模型配高品質資料、蒸餾、大量呼叫再篩選。Jared 的論文談的是：可驗證的問題，可以靠 best of K 一路把表現堆上去。

從哪一段開始看17 段

1. 00:05開場與 Foundry 緣起Sarah 介紹 Jared 與 Foundry。Jared 以 AlphaFold 2、ChatGPT 為例，小團隊的成果背後有大量算力，Foundry 想讓更多人用得到。
2. 02:40Foundry 是什麼專為 AI 打造的公有雲，從頭重想整套雲的系統；Jared 說在許多情況下，成本效益比其他 GPU 雲與既有公有雲好 12 到 20 倍。
3. 03:58GPU 到底閒置多少即使是 pre-training 這種最理想的情況，利用率也常低於 80%；新 GPU 常壞，團隊要留 10% 到 20% 備援，再加上訓練之間的空檔。
4. 05:59GPU 其實是龐大的系統H100 不是單顆晶片，而是 70 到 80 磅、35,000 多個零件的系統；接成超級電腦後故障機率跟著相乘，新機型反而更常壞，Jared 認為是複雜度變高了。
5. 07:34什麼叫 large regime模型大到單一 GPU 或單一節點放不下，就得讓整個叢集做同一個同步計算，任何零件出問題都可能讓整個工作停下。NVIDIA 買 Mellanox 就是為了把很多機器接成一台，但故障點也跟著變多。
6. 10:13現在的雲其實是 colocation主持人問 Foundry 跟超大雲、CoreWeave 對 GPU 折舊的假設差在哪；Jared 說現在的 AI 雲不是原本意義的 cloud，比較像 colocation。
7. 10:59雲的歷史與當年的質疑Jared 回顧 AWS 從 2003 年起步、2006 年推出 S3 與 EC2，以及 Bezos 2015 年的說法。Elad 說自己 2007 年創業時就覺得雲很神奇，不認同「沒人相信」；Jared 改口說是沒人料到會變這麼大。
8. 14:19雲的價值是 elasticity引 Snowflake 創辦人的說法：雲讓「快」變成免費，10 台跑 10 天的工作可以改用 10,000 台跑 15 分鐘。但現在的 AI 雲常要簽三年長約，很難因應需求起伏。
9. 16:11從自架機房到 serverlessSarah 把演進拆成自有機房、colocation、hosting、虛擬化再到 serverless；Jared 同意 AI 硬體大約還卡在 colo 與 hosting 之間，資金與風險壓力都在使用者身上，也還沒有期貨、選擇權這類對沖工具。
10. 19:23停車場比喻與 spot 產品AI 雲像停車場，只有按次付費和預訂兩種；Foundry 讓人用較低的價格停進別人預訂的車位，車主一到就自動把車移走。客戶從訓練到 batch inference 都在用。
11. 24:04世界上的 GPU 算力在哪主要公有雲擁有的 GPU 算力占比其實很小。GPT-3 用 10,000 張 V100 訓練約 14.6 天，Ethereum 高峰時卻有約 10 到 20 million 張 V100 等效算力全天在跑；iPhone 15 Pro 的 FP16 算力也已超過 V100。
12. 28:24Mars 與 healing bufferMars 是 Foundry 主要為自己做的監控、警示、韌性與安全工具。Foundry 自己也留大量備援，再把備援拿去跑可被搶占的 spot 工作；現在第三方夥伴也能這樣把備援拿出來。
13. 30:28最大叢集越來越難取得電力、空間與 interconnect 都短缺，叢集越大越稀少；scaling laws 要往上，每次都得再放大 2 倍或 10 倍，這已經逼出 Google 的跨設施訓練。
14. 32:13小模型與 compound AI systemsPhi-3 靠高品質資料、Llama 3.1 8B 與 70B 靠蒸餾；AlphaCode 2 對每題呼叫模型一百萬次，篩出前 10 個答案再逐一試。這些做法不一定需要大叢集。
15. 34:21重新看 scaling laws換個角度看 Chinchilla：Mistral 刻意多花錢，把小模型訓練得比它該有的更聰明，推論就便宜。成本改看整個生命週期，工作量從大型 pre-training 往 batch inference 移。
16. 36:37論文：可驗證性與 best of K檢查答案比產生答案容易的問題，可以大量平行產生候選、再由 verifier 挑最好的。質因數分解從 3.7% 提到 36.6%，MMLU 約提高 3%。
17. 40:15網路套網路的未來Jared 預期會有人把 Claude、Gemini、GPT-4 與模擬器、傳統啟發式系統組成大型網路，一個問題呼叫數百萬次；希望這類可平行的工作更普遍，不一定要 OpenAI 等級的叢集。

值得記的話5 句

• fundamentally the cloud made fast free這句 Jared 引的是 Snowflake 一位創辦人的說法：根本上，雲讓「快」變成免費14:35

• the AI cloud business is very much like a parking lot businessAI 雲這門生意很像停車場19:23

• an iPhone 15 Pro now is actually stronger than a V100現在的 iPhone 15 Pro 其實比 V100 還強27:38

• We kind of know how to construct neural networks, but we haven't yet elucidated the principles for how to construct networks of networks我們大致知道怎麼建構神經網路，但還沒釐清怎麼建構「網路的網路」37:39

• it sounds kind of farcical right now, but I think it'll seem common sense pretty soon現在聽起來有點荒謬，但我認為很快就會變成常識41:19

名詞與人物11 個

Jared Quincy Davis

Foundry 創辦人暨執行長，待過 DeepMind，在 Stanford 跟 Matei Zaharia 讀博士。

Foundry

專為 AI 工作負載打造的公有雲，主打彈性、可靠度與價格效能。

healing buffer

團隊預留的 10% 到 20% GPU，故障時頂上，讓訓練不中斷。

large regime

Jared 的定義：模型大到要多台伺服器一起做同一個同步計算。

colocation

機器歸自己，但放在別人的機房；Jared 認為現在的 AI 雲大致就是這樣。

spot

Foundry 的產品：用較低價格使用別人預訂但閒置的 GPU，原主要用時自動把工作移走。

Mars

Foundry 主要為自己做的監控、警示、韌性與安全工具組，打算也開放給別人用在自己的叢集。

compound AI systems

把多次模型呼叫與其他元件組成網路的做法，Jared 與合作者用這個詞稱呼。

best of K

平行產生 K 個候選答案，再由 verifier 或 judge model 挑最好的。

verifiable

檢查答案比產生答案容易的問題，例如多數軟體工程任務、質因數分解、數學證明。

Chinchilla

DeepMind 的 scaling laws 論文，Jared 說它指出參數、算力與迭代次數的理想分配。

提到但沒有展開

• Jared 問過很多人，主要公有雲占全球 GPU 算力多少，多半猜幾十個百分點；只有 Microsoft 的 Satya 猜「basis points」，而那才是對的。
• Google 的跨設施訓練，Jared 舉了 PaLM 2，以及 DiPaCo、DiLoCo 這兩個跨設施訓練的模型。
• 論文裡的驗證者不一定是語言模型，Jared 說也可以是模擬器或 unit test。

在 YouTube 看原片 ↗