主持人對談

054 · 模型新局、財報與 AI 資本支出

42:14YouTube 上架 2024-03-07

No Priors Ep. 54 | With Sarah Guo & Elad Gil

兩位主持人沒有來賓，自己聊 Gemini 1.5、Mistral、agent 新做法，再談 NVIDIA 與 Meta 財報、Klarna 的客服 AI，以及晶片第二供應來源與晶圓廠。

054 講了什麼

• 模型世界一口氣多了很多東西主持人點名 Gemini 1.5 的百萬 token context window、OpenAI 的 Sora、Pika，以及 Mistral 的 Mistral Large 與 Le Chat。其中一位特別佩服 Mistral 的出貨速度，並提到它已經授權進 Azure。
• 長 context 不等於 RAG 會消失主持人談到有人認為 retrieval 在 context 夠長之後就沒用了，其中一位的看法是這只是多了一組取捨，兩種做法都會存在。
• Google 的問題變成「有沒有意願」主持人認為 Gemini 讓人覺得 Google 有能力做出有競爭力的模型，資料、算力、人才也都有；其中一位說過去缺的是意願，現在因為競爭又回來了。
• agent 要縮小範圍才做得起來主持人說早期想做「什麼都能做」的 agent，現在多半鎖定一小組任務或領域，像程式碼生成這種能取樣驗證的場景，並討論用付費人類回饋資料把成本算清楚。
• 財報顯示支出還在擴大主持人談到 NVIDIA 預期供給持續吃緊、Azure 的 AI 相關營收，以及 Meta 在財報後單日市值增加 197 billion。也提到 Sequoia 的 David Cahn 那篇「AI 的 200 billion 美元問題」。
• 應用層還沒真正開始主持人提到 Klarna 的客服 AI 做了相當於 700 位全職客服的工作量，並認為研究者、基礎設施、應用開發者是三波先後出現的人才，第三波才剛起步。最後也聊到 NVIDIA 的護城河、第二供應來源與晶圓廠。

從哪一段開始看18 段

1. 00:05開場與模型近況Elad 開場說這集是和 Sarah 兩人對談，沒有來賓。話題先從 Gemini 1.5 的百萬 token context 聊起，其中一位主持人說生物領域（例如蛋白質）特別需要長 context；再帶到 Sora、Pika。
2. 01:40Mistral 的速度主持人佩服 Mistral 出貨快，從起步到接近 GPT-4 水準不到一年，產品線與多語言都齊；與 Microsoft 的合作讓 Azure 上有 OpenAI、llama、Mistral 與 Microsoft 自家模型。
3. 03:12RAG 會不會死有人說 context 夠長就不需要 retrieval；其中一位認為只是多出 retrieval 與模型推理之間的取捨，兩者都會有。
4. 03:42推論時運算與持續訓練從撲克 AI 的樹搜尋說起：很多工作發生在推論當下，結果再回饋去持續訓練；對照現在的做法：花 $100 million、12 個月做出下一個模型，然後那個檔案用上一年。
5. 05:00Google 的優勢與意願兩位談 Gemini 讓 Google 的研究能力不再有疑問；Google 有分發、搜尋資料與廣告拍賣經驗，剩下的是能否把公司導向競爭。
6. 08:23生物與機器人模型通用模型在生物還不夠強，例如設計能表現 CRISPR Cas9 的 DNA 序列；機器人受限於資料，但已有生成資料的辦法。其中一位說，2024、2025 年如果成為模型擴散到各領域的年份也不意外。
7. 10:26遊戲式的 agent 路線最近出現不少 agent 公司，有些參考 AlphaGo、撲克、Diplomacy 的做法：依變動資訊行動、self-play、推論時的演算法，並結合 reinforcement learning。
8. 11:46窄任務的 agent與其做一個什麼都做的 agent 而讓錯誤層層累積，越來越多團隊在能取樣並驗證的領域下手，也有團隊用付費的人類回饋資料後訓練，把問題變成「讓某項任務可行要多少錢」。
9. 14:10NVIDIA 財報與升級循環主持人轉述 Jensen 的說法，供給吃緊會持續到今年底；其中一位的投資組合公司採購數量在數萬張 GPU 等級，打算直接跳到 B100，說訓練效率的提升像「free money」。
10. 15:47誰在花錢：大公司與 Azure大額資金主要來自大型科技公司而非創投；Microsoft 說 Azure 上一季營收有 5% 的成長來自 AI 相關產品，主持人心算：如果 Azure 一季營收是 $25 billion，等於每季多出一到一點五 billion。
11. 17:32Meta 財報與 200 billion 問題提到 David Cahn 的文章，再說 Meta 財報後單日增加 197 billion 市值，被視為對投資報酬問題的一天回答。Meta 2024 年 capex 預計 30 到 37 billion。
12. 19:26市值增加落在誰身上其中一位提起 Yuri Milner 給自己看過的圖表：同一段時間裡，大型科技公司增加的市值是整個新創圈加總的五到十倍（講者說記不清是哪個數字）。AI 短期內可能也一樣，新增市值多半落在既有大公司；主持人半開玩笑說也許該開避險基金，把服務業公司依受 AI 衝擊程度做多做空。
13. 21:35Klarna 的客服助理引述 Klarna 的貼文：OpenAI 驅動的助理上線四週處理 2.3 million 則客服對話，占全部客服詢問的三分之二，工作量相當於 700 位全職客服。
14. 24:10服務支出與三種情境美國軟體支出約半兆美元，可能受 gen AI 影響的人力服務薪資是 3.5 到 5 兆；問題是它會由內部自建、新公司，還是既有業者吃下。
15. 27:01三波人才先是研究者、再來是基礎設施人才、第三波才是應用開發者；主持人認為應用層才剛起步，還有很多領域沒人做。
16. 29:09NVIDIA 的第二來源NVIDIA 的優勢是晶片效能、CUDA 與 interconnect；AMD 在追，新創有 Groq、Cerebras 等不同做法，也提到 Transformer 專用晶片與 state space models 的賭注。
17. 34:27晶圓廠與地緣談到把晶片製造搬回美國遇到的障礙、日本可能成為第二來源，以及 TSMC 的人才與文化是否能複製；兩位對 Intel 的晶圓廠也有不同看法。
18. 38:26自我強化的循環越學越不懂的感覺，大型科技公司資助新創、新創反過來推著大公司；某家投資銀行調查指 Fortune 1,000 的 IT 預算今年是 5% 到 8%，一般是 3% 到 5%。

值得記的話5 句

• they went from basically starting the company to almost GPT 4 level in less than a year他們從創立公司到接近 GPT-4 水準，花不到一年；指 Mistral01:55

• the thing that was lacking until recently was the will直到最近，Google 缺的是意願07:51

• I wouldn't be surprised if 2024 and 2025 is the year of proliferation of models如果 2024 和 2025 年成了模型遍地開花的年份，我不會意外09:55

• this stuff tends to happen slowly and then suddenly all at once這類事情通常先慢慢來，然後一口氣全部發生23:55

• the more I learn the less I know in AI在 AI 這個領域，我學得越多，懂得越少38:11

名詞與人物12 個

Gemini 1.5

Google 的模型，主持人特別提到它的百萬 token context window。

Sora

OpenAI 的影片模型。

Mistral

法國的模型新創，推出 Mistral Large 與聊天產品 Le Chat，並授權進 Azure。

RAG / retrieval

讓模型查特定資料來回答；主持人討論長 context 會不會取代它。

inference time

模型訓練完之後，在推論當下再做樹搜尋等額外工作；主持人認為這在 agent 與推理裡會更重要。

Klarna

這集引述其客服 AI 助理的成效：處理三分之二的客服詢問，工作量相當於 700 位全職客服。

Sierra

主持人舉例可能做客服領域的新公司。

David Cahn

Sequoia 的 David Cahn，寫了「AI 的 200 billion 美元問題」那篇文章。

CUDA / interconnect

NVIDIA 護城河的兩個部分，與晶片效能並列。

Groq / Cerebras

主持人點名的晶片新創，一家主打開源模型的快速推論，一家在晶片上走不同路。

Cartesia

做 state space models 的公司，被拿來說明對 Transformer 的替代方案。

Jensen's law

主持人轉述 Jensen 對晶片進步的描述：更多來自記憶體管理與新技巧，而非只靠在晶片上塞電晶體；有人把這叫作 Jensen's law。

提到但沒有展開

• 主持人提到 NVIDIA 在 2019 年收購 Mellanox 來補 interconnect，金額約 5 billion，相對當時 NVIDIA 的市值算大。
• 主持人討論 Qualcomm 與 Arm 的市值（176 billion 與 140 billion），用來說明晶片市場常見「龍頭加第二名」的結構，不確定 AI 時代是否照舊。
• 兩人最後開玩笑造了一個詞 RLPAF（reinforcement learning through product adoption feedback），形容產品有效、就帶動更多投入的循環。

在 YouTube 看原片 ↗