主持人對談

081 · LLM 整併、版權風險與晶片新局

26:28YouTube 上架 2024-09-12

No Priors Ep. 81 | With Sarah Guo & Elad Gil

兩位主持人聊基礎模型市場是否已經整併、影像與影片出現哪些新玩家，再借早期 Google 的版權爭議談新創該冒多少風險，最後談新一波晶片公司與 AMD 的收購。

081 講了什麼

• 基礎模型靠大錢整併一邊是不少公司的團隊併進大企業，另一邊是最大規模的模型要數十億美元，只有 hyperscaler 或國家級資金給得起，創投規模撐不起，大家只好各找夥伴。一位主持人認為除非架構、訓練或推論成本有根本突破，多數公司很難保持競爭力。
• 整併不等於不競爭另一位主持人覺得過去一年半反而更競爭：效能一直往上、價格一直往下，還有認真的開源玩家。對方接著補上數字：API 價格大約降了 200x，只做 API 越來越難跟模型本身競爭，業者被推向專用模型、特定 post training 或垂直應用。
• 影像影片還在洗牌原本覺得 Midjourney 會是預設的獨立贏家，現在冒出更多值得注意的公司，五人小團隊也做得出有競爭力的東西。同樣的效能，模型越來越小，主持人說這是一兩年前沒預期到的。
• 用 Google 往事看版權Google 早年索引網頁、顯示 snippet，被告了很久，最後出現 robots.txt、snippet 被視為合理使用、部分內容授權，也有新聞網站撤出索引後發現流量損失而回頭。整件事花了十到十五年。
• 風險分三種官司、法規、聲譽。主持人也提到 Grok 明說不太管輸出，並認為不少公司限制得比一般社會規範更嚴。
• 晶片新一波六七年前的 Groq、Cerebras 之後，又有一批專攻 Transformer 的新公司。AMD 買了 Silo 與 ZT 來補軟體與機櫃級系統，主持人說市場對 AMD 能不能追上看法分歧。

從哪一段開始看16 段

1. 00:05開場與議程兩位主持人自己聊，預告四件事：LLM 整併、晶片動態、AI 公司該冒多少風險、幾筆大交易。
2. 00:23LLM 市場整併了嗎部分團隊併進大企業，產品照常運作；模型要數十億美元，只有 hyperscaler 與主權基金給得起，Apple、Samsung 會不會也各找一家夥伴。
3. 02:11反方：其實更競爭另一位主持人認為過去一年半更競爭，整併也不代表有人賺錢；對方接著說 API 價格大約降了 200x，只做 API 難以和模型本身競爭，會被推向專用模型與垂直應用。
4. 04:03資本的理由與產品戰沒說出口的是 AGI 就是生意；兩三年尺度則看消費端與企業端，已變成產品競爭，各家想做出聊天以外的東西。
5. 05:06API 的鎖定與介面供應商會把客戶推向更綁定的路徑，像 prompt caching、JSON 輸出、fine-tuning，市場因此沒那麼像商品；介面也會比單純聊天聰明。
6. 06:11還能切入的角度不同的推理做法（數學與程式的 self-play）、重複已有的工作所需資本較低、硬體持續進步；蒸餾與小模型 fine-tuning 怎麼用還沒定。
7. 06:58三條軸要分開看這裡只談語言模型；物理、生物、影像各有自己的模型；推理與 agentic flow 是另一條軸，模型周邊的 caching、長 context、RAG 是第三條。
8. 08:16社群網路的類比從 Friendster、Myspace 到 Facebook，之後還有 Instagram、Twitter、Snapchat 與 TikTok；主持人認為這裡也會有人各自占住一塊。
9. 09:17通用還是專用取決於泛化程度，以及工具是否要和模型垂直整合；以同一個影像生成模型能否兼顧藝術、平面設計、UI 設計為例。
10. 10:49影像影片市場升溫原本覺得 Midjourney 會贏，現在新公司變多；Sora 出來時大家覺得沒人追得上，如今 Runway、Pika 等都有亮眼的影片生成，Luma Labs 也有新成果。
11. 12:41模型變小與即時應用模型相對效能變小，主持人拿大腦 20 或 30 瓦的功耗當例子；即時應用目前沒有規模化，邊說邊生成圖像會是不同的體驗。
12. 14:16Google 的版權往事早年索引網頁與 snippet 被告；最後有 robots.txt、合理使用、內容授權，也有新聞網站撤出索引後回頭，前後約十到十五年。
13. 17:06新創該冒多少險舉挑戰租賃與計程車牌照限制的服務，先做到規模再處理政策；也討論爬 YouTube 資料，認為該當作商業風險來看。
14. 19:00三種風險與輸出限制Napster 被告到倒閉；風險分官司、法規、聲譽；Grok 少管輸出，以及限制該放在生成還是散佈。
15. 21:41新一波晶片公司六七年前還看不出 Transformer 會占掉這麼大的負載；現在一批公司專攻它，能否超越 AMD 與 NVIDIA 的經濟性，關鍵在押哪種架構。
16. 24:17AMD 的兩筆收購補軟體靠 Silo，補機櫃與資料中心規模的系統設計靠 ZT；NVIDIA 現在賣的是整套系統。

值得記的話5 句

• The Venture Capital industry is just too small to actually be able to support the next round for these companies創投產業太小，撐不起這些公司的下一輪融資01:10

• the API costs have dropped something like 200x in the last 18 to 24 monthsAPI 價格在過去 18 到 24 個月降了大約 200x02:44

• the mostly unsaid thing is like really like it's still AGI is the business沒說出口的其實是，AGI 仍然是這門生意04:03

• the size of the models is shrinking relative to performance over time too相對於效能，模型的大小也在縮小12:41

• it was better to be in Google than not because they'd get attribution被 Google 收錄比不被收錄好，因為能得到出處標示；這是在講當年一些新聞網站後來的體認16:04

名詞與人物12 個

hyperscaler

大型雲端業者，例如 Amazon 與 Microsoft，是基礎模型公司的資金來源之一。

sovereigns

國家層級的出資者，與 hyperscaler 並列為少數給得起數十億美元的人。

post training

模型訓練完之後的調整，與專用模型、垂直應用並列為 API 之外的出路。

distillation

蒸餾，主持人認為可能是模型越做越小、效能卻跟得上的原因之一。

prompt caching

Anthropic 做的快取功能，被舉為讓 API 沒那麼像商品的例子。

robots.txt

網站放的檔案，告訴爬蟲能不能索引內容，是 Google 版權爭議的產物。

fair use

合理使用，Google 的 snippet 最後被認定屬於這一類。

Grok

明說不太管輸出內容的模型，被主持人當作聲譽風險的例子。

Silo

AMD 先前買下的公司，約 $600 million 的 acqui-hire，補軟體端。

ZT

AMD 的收購對象，補機櫃與資料中心規模的系統設計。

UALink

NVLink 的開源競爭對手，AMD 是參與者之一。

acqui-hire

以收購公司的方式把整批工程師與研究者請進來。

提到但沒有展開

• 一位主持人用心理學文獻裡的案例類比：有人頭部被鋼梁貫穿後，只失去某一種特定的情緒或推理功能，說明大腦是一組相當專門的模組，借來問 AGI 會不會也由專門模組組成。
• 談爬 YouTube 資料時，一位主持人反問：Google 自己的核心生意就建立在爬網頁上，對 YouTube 資料採取嚴格立場，在法律上算不算自相矛盾。

在 YouTube 看原片 ↗