主持人對談

027 · GPU 缺貨、agent 路線與 2024 市場

23:57YouTube 上架 2023-08-10

No Priors Ep. 27 | With Sarah Guo & Elad Gil

兩位主持人回答聽眾來信：GPU 為什麼缺、短期會不會緩解，agent 該先做窄還是做廣，以及 2021 年募過資的科技公司接下來兩年會怎樣。

027 講了什麼

• GPU 缺貨的根源在製造供應商只有少數幾家，NVIDIA 在高階處理器遠遠領先，疫情造成的供應中斷也還沒完全恢復；新晶圓廠動輒數十億美元，良率又很難控制，實體製程追不上整個產業一窩蜂要做 AI 的速度。
• 缺貨催生新的算力生意有公司靠聚合或串接不同來源的 GPU 出租算力；加密貨幣低迷時，原本挖礦的 GPU 拿去租給 AI 訓練與推論可能更划算。自己做 AI 晶片的新創，像 Cerebras、Groq，也因此有了切入口。
• 算力卡住時，效率變得值錢其中一位主持人認為，供給吃緊的話，動態轉送到較有效率的模型、蒸餾、更聰明地挑訓練資料，這幾條研究目前被低估，也可能讓大家不再擠在同一條路上。
• 企業採用才剛開始到目前為止，真正把 AI 做成產品、大規模上線的企業幾乎是零。大企業光規劃就要 6 到 9 個月，再花一年做原型，所以大概還要一到兩年才會看到大規模的應用。
• agent 先做窄再放寬一位主持人認為過去真正成功的產品多半先從垂直用例做起；另一位把這看成研究驅動與產品驅動兩種心態的拉扯；前一位再補上第三條路：做讓別人快速打造 agent 的基礎設施。
• 2024 與 2025 會有一波淘汰一位主持人預期 2021 年募過資、非 AI 的中後期私有公司（講到一半改口說是獨角獸）約三分之一會倒；也認為估值不是重點，燒了大把錢卻拿不出營收才是。

從哪一段開始看14 段

1. 00:05開場與聽眾提問這集回答聽眾來信，第一題是連小規模實驗都很難拿到算力：GPU 荒是怎麼回事。
2. 00:35GPU 為什麼缺供給端只有少數幾家，NVIDIA 在高階領先；加上疫情的供應中斷、晶圓廠擴產與良率的困難，實體製程趕不上需求。
3. 02:27缺口有多大沒辦法測價格彈性，很難說差 2 倍還是 10 倍。大型雲端業者至少到明年 4 月都已賣完，連 Microsoft 都在向其他供應商買近期的貨；製造 GPU 用的專門設備也是瓶頸。
4. 04:16缺貨的二階效應出現聚合、串接 GPU 出租算力的新生意，挖礦的 GPU 可能轉租給 AI；Cerebras 與 Groq 這類自己做晶片的新創被大量需求拉著走。
5. 06:21算力卡住時轉向效率之前大家照 Chinchilla scaling 走最簡單的路；供給吃緊時，轉送到高效率模型、蒸餾、挑資料這些方向值得看。推論本來就已經佔掉 OpenAI 大部分的算力。
6. 07:40短期需求只會往上短期需求會暴增，關鍵是 NVIDIA、AMD 能多快擴大製造，瓶頸可能會持續。
7. 08:12這波 AI 還在早期Transformer 帶來的是全新的能力組合；ChatGPT 才 8 個月、GPT-4 大約 5 個月，大企業真正採用還要一到兩年，炒作還有空間。
8. 10:50agent 會長成什麼樣一位主持人問 agent 會是少數通用型還是高度專門化；另一位認為兩種都會有，能寫可執行程式碼的 agent 可以呼叫更多工具與 API，會是主流做法。
9. 12:58先垂直再放寬過去成功的產品多半從窄用例開始，Facebook 從五所大學做起；對「什麼都幫你做」的 agent 構想，建議先挑一兩件事做深。
10. 15:02研究取向對產品取向另一位把這看成「技術是通用的、為什麼要限制它」的研究思維，對上「把任務做完」的產品思維；專注在單一任務，研究上反而更好推進。
11. 17:22第三條路：基礎設施做工具讓別人快速打造 agent。要分清楚它是從成功的垂直產品長出來的（Facebook 的登入平台），還是人人都在重複造的東西（Stripe）。
12. 18:242024 科技市場AI 會繼續跑；非 AI 的中後期私有公司三分之一倒閉、三分之一停在歷來最高的估值、三分之一繼續成長。人才變好請，商用不動產與創投都會受波及，要兩三年才會走完。
13. 20:57估值與燒錢一位主持人建議跟當年的估值徹底切割；另一位比較擔心燒了 5,000 萬、1 億美元，只做出 500 萬或 1,000 萬美元營收的公司，因為估值可以重設，商業模式才是真問題。
14. 22:47創辦人最寶貴的是時間別拖到太晚才調整成本結構、死抱著估值；如果判斷這門生意行不通，要記得創辦人最寶貴的是時間，能冒險的黃金時期不多。

值得記的話5 句

• Most of the large cloud providers are sold out for any scale for at least through April of next year.大多數大型雲端業者，不論規模，至少到明年 4 月都已經賣完了02:58

• we're probably a year or 2 years before we really start to see large-scale AI applications大概還要一到兩年，我們才會真的開始看到大規模的 AI 應用09:14

• it's better to delight a small number of people讓一小群人驚艷比較好；這句是在引 YC 的老說法14:14

• I think valuation is ephemeral, right?我覺得估值是一時的，對吧？21:43

• the most important precious thing for you as a founder is your time身為創辦人，你最寶貴的是自己的時間22:47

名詞與人物10 個

GPU crunch

訓練與推論用的 GPU 供不應求，這集的第一個題目。

NVIDIA / AMD

主要的 GPU 供應商，NVIDIA 在高階處理器遠遠領先。

TSMC

少數幾家主要晶圓代工廠之一。

Cerebras

做 AI 專用晶片的新創，剛跟 UAE 簽下 1 億美元的合約，要用自家晶片打造 9 台超級電腦。

Groq

另一家自己做 AI 晶片的新創。

Foundry

用聚合或大型 GPU 雲提供算力的公司，字幕寫成 Foundry ML。

Chinchilla scaling

大家一直照著它放大模型，當成最簡單的路。

FrugalGPT

動態轉送到較有效率模型的研究方向，被舉為例子。

agent

由模型驅動規劃、自己採取行動、完成較複雜的任務再回報結果的系統，不只是聊天介面。

Harvey

主持人說是「我們合作的公司」之一：一件法律工作其實是一連串的思考、規劃、研究與撰寫。

提到但沒有展開

• 一位主持人說正在寫部落格文章談這件事，並把目前的採用者分成三群：AI 原生公司（OpenAI、Midjourney）、第一波新創（Perplexity、Harvey、Character）、第一波採用的既有公司（Notion、Zapier）。
• 停在最高估值的那三分之一，2014 年就有前例：那年募資、幾年後上市，市值再也沒有回到那個高點。
• 另一位主持人引了一份分析：網路泡沫之後存活下來、最好的那些科技公司，花了十年才回到泡沫破裂前的估值，而新創沒有十年可以等。
• 過去一年半，幾乎每家上市科技公司都等於做了一輪 down round，很多公司市值掉了 30% 到 90%。

在 YouTube 看原片 ↗