主持人對談

063 · 小模型上裝置，AI 撞上能源牆

29:09YouTube 上架 2024-05-09

No Priors Ep. 63 | With Sarah Guo and Elad Gil

兩位主持人從音樂生成聊到 Apple 的裝置端小模型、Meta 的開源與 AI 資本支出，最後談長 context window，以及電力與資料中心的限制。

063 講了什麼

• 音樂生成是下一波內容形式一位主持人把 Suno 與 Udio 排在 GPT-3 文字、圖像、聊天、影片之後，覺得內容形式正一個接一個打開。另一位提醒，門檻降低之後到底有多少人想自己做音樂，還沒人知道。
• Apple 小模型的重點是裝置端開發者很想要 1 到 3 billion 參數、放得進邊緣裝置的模型。在裝置上跑，延遲完全不同，也不用一直付推論的算力費，常駐、主動的體驗就好做得多。
• 平台會把好東西吞進去談到桌面端的 LLM 應用能不能獨立活下來，主持人舉 Veeva 當少見的例外，也提醒 Microsoft Office 當年也是一家家獨立軟體，最後都被併進平台。
• 裝置與雲端怎麼分沒有標準答案主持人認為要看應用，也看能力多快塞得進現有硬體。另外談到 Ray-Ban Meta 眼鏡這種被動收集環境資料的新形態，以及 Meta AI 的發表。
• 大筆支出有前例可比幾家 hyperscaler 今年在 AI 運算上花了將近 200 billion 美元；主持人拿石油公司一年 80 billion、寬頻業者一年約 100 billion 的基礎建設支出，還有鐵路的資本支出對照，認為這個規模不是沒見過。
• 長 context 與能源是兩個限制點長 context 讓整個程式庫或整條客服佇列都能放進 prompt，在蛋白質摺疊上也看得到效果。能源方面，還沒有人蓋過 500 megawatt 或 gigawatt 等級的資料中心。

從哪一段開始看16 段

1. 00:05開場閒聊這集只有兩位主持人。開場說這週財報與技術面都很熱鬧，先閒聊了一陣帽子。
2. 01:22音樂生成模型Suno 與 Udio 可以指定曲風、自己寫歌詞，還會加上人聲。主持人把它排在文字、圖像、聊天、影片之後，是下一種被打開的內容形式。
3. 03:10有多少人想創作媒體平台上看的人遠多於做的人，降低門檻之後會有多少人想做音樂還不知道。主持人轉述一位創辦人的說法：每個人都該有自己的人生配樂。
4. 03:56Apple 與本地小模型Apple 在 Hugging Face 釋出相對小的模型。主持人說開發者很想要放得上邊緣裝置的小模型，預測 Apple 會在自家生態系提供本機跑模型的介面。
5. 05:18桌面端 LLM 應用最近有人做 Mac、iPhone 上索引整台裝置、接 ChatGPT 的 app。這類產品能不能獨立存活，主持人認為要看它搜尋的內容範圍有多大。
6. 06:41平台吞掉應用平台通常會把最有價值的功能收進自己。Veeva 是少數建在平台上還能做大的例子；Microsoft Office 當年也是一家家獨立的軟體公司。
7. 09:04小模型塞得下多少LLM 的能力有推理、合成、多模態與知識幾塊，3B 或 7B 的模型塞不下全部。哪些能留在裝置上、哪些一定要上雲，主持人還沒看到有人好好分析過。
8. 10:21裝置與雲端怎麼分就像當年 client 與 server 之爭，沒有原則性的答案，要看應用。裝置上先處理多少、傳多少資料上雲，都是設計上的取捨。
9. 11:26新 AI 硬體與 Meta AI討論會持續收集影像的被動裝置，例如 Ray-Ban Meta 眼鏡。也談 Meta AI 的發表：一次推出多種模態，但還沒大力塞進自家既有的產品。
10. 14:01Meta 的開源模型Meta 手上 GPU 多，訓練超過一般認為的最佳點，效能還是繼續往上。主持人認為長期仍需要有效率的架構，因為超大模型的成本與速度服務不了多數場景。
11. 15:19資料平台要不要自有模型Snowflake 這類平台既託管別家的模型，也訓練自己的。主持人覺得短期內不一定要自有模型，但要讓客戶看到自己有訓練、微調、部署的能力。
12. 16:53前沿模型的資本門檻前沿模型需要的錢越來越多，所以背後多半有 hyperscaler 撐腰。中小型模型可能留給推論平台，前沿則由少數幾家大公司承擔。
13. 17:53世界該花多少錢投資人常問這個問題，但做決定的只有少數幾個人。主持人拿晶圓廠、石油、寬頻、鐵路的支出對照；另一位補充，主權國家可能是另一個大買家。
14. 20:31長 context windowMagic 六到 12 個月前推出 5 million token 的 context window，Gemini 1.5 是 1 million token，一兩年內很多家可能到 10 million 以上。主持人拿 90 年代的處理器與頻寬類比，也提到蛋白質摺疊。
15. 22:47能源與資料牆先是晶片、再是封裝，下一個限制可能是資料中心與電力。訓練需要 GPU 集中在同一處；網路上便宜的 token 也快用完，得蒐集更多或生成合成資料。
16. 25:39G42 與核電談 Microsoft 投資阿布達比 G42 的 1.5 billion，以及核電占美國發電的 17 或 18%、法國約 70%、日本約 30%。主持人認為既然把 AI 當國安議題，就該把所有能源技術都用上。

值得記的話5 句

• everybody should have a personalized soundtrack for their life主持人轉述一位創辦人的話：每個人都該有一份自己的人生配樂03:41

• platforms tend to integrate the most valuable things into themselves平台通常會把最有價值的東西收進自己06:41

• there's a really long period where bigger and bigger context windows will matter會有很長一段時間，context window 越大就越有差22:17

• nobody's built like a 500 megawatt gigawatt data center yet還沒有人蓋過 500 megawatt、gigawatt 等級的資料中心23:35

• all of geopolitics would be dramatically different if we just had a lot of widespread nuclear power如果我們有大量普及的核電，整個地緣政治都會很不一樣27:45

名詞與人物9 個

Suno / Udio

這集談的兩個音樂生成模型，可以指定曲風、寫歌詞並加人聲。

Apple

在 Hugging Face 釋出相對小的模型，主持人預測它會提供在本機跑模型的介面。

Veeva

主持人說大約 $40 billion 的製藥垂直 SaaS，早年只是建在 Salesforce 上的一個 app。

Ray-Ban Meta

會被動收集影像的眼鏡，主持人拿來談新的 AI 硬體形態。

Meta AI

Meta 的 AI 產品，一次推出多種模態，但還沒大力放進自家既有的產品。

Snowflake / Databricks

主持人討論的資料與運算平台，要不要自有模型是這段的問題。

hyperscaler

大型雲端業者，主持人說只有它們的商業模式撐得起前沿模型的開銷。

Magic

最早推出超長 context window 的公司之一，主持人說是 5 million token。

data wall

網路上便宜可得的 token 已經用掉了，接下來得去蒐集更多，或生成合成資料。

提到但沒有展開

• 主持人提到 DHS 剛宣布的 AI 安全委員會，成員除了 AI 公司的人，也找了能源與基礎設施安全方面的人。
• 主持人兩度提到 Microsoft 網站上在徵核能工程的職缺，覺得這件事很值得注意：能源的問題有解，就看要不要去解。

在 YouTube 看原片 ↗