哈利花一個週末讀完 Meta 公開的 Llama 3.1 技術論文，拆解 405B 模型的訓練配方與硬體，最後講 Meta 為什麼把花大錢訓練的模型免費送人。前面另外聊了 SearchGPT。
重點
開源只差閉源兩個月。哈利說 Llama 3.1 405B 的 benchmark 與 GPT-4o、Claude 3.5 Sonnet 在同一等級。Meta 內部的人類評測裡，405B 和 Claude 3.5 Sonnet 幾乎一樣，對 GPT-4o 則是約 20% 贏、30% 輸、50% 平手。他認為開源與閉源的差距縮到了兩個月。
架構沒花招，靠資料量取勝。這代是 Dense 的 Decoder Only Transformer，不是 MoE，主要不同是 128K 的 Tokenizer。預訓練資料從 Llama 2 的 1.8 Trillion 拉到 15 Trillion，加上更嚴格的資料過濾，哈利認為這是表現好的主因之一。
合成資料靠能自動驗證。Post-training 用了大量 AI 生成與 AI 標註的資料。寫程式的資料最好做，因為產出的 code 直接執行就知道對不對，報錯就丟回去重寫。哈利說 AlphaProof 解數學題也是同樣的邏輯。
GPU 只用到 40%。405B 在 16000 個 H100 上訓練，機架之間用乙太網路上的 RDMA，速度 400Gbps。論文裡的 MFU 約 40%，哈利拿這個數字說明 NVIDIA 為什麼吃下訓練市場：換成沒有 NVLink 的 GPU，等資料的時間只會更長。
開源的三個理由。Meta 不靠賣模型賺錢；模型越強，Meta 的產品越好；Meta 不想受制於人。祖克柏在信裡寫了很多點，這三點是哈利自己歸納的。
SearchGPT 讓哈利感慨。他認為這是為了留住 ChatGPT 的付費使用者，跟 AGI 沒關係，OpenAI 離創立初衷越來越遠。
時間軸 點時碼從那一段開始
- IG 帳號被盜哈利說 IG 帳號被盜，四小時內搶救回來，但過去的影片全被刪掉，接下來一兩週會安靜地重新上傳。
- 本週三件事頻道八成在講 AI，上週改聊比特幣反應不錯。Windows 大當機沒能補進來，這週要講 Llama 3.1、SearchGPT、數學奧林匹亞的兩個 AI。
- SearchGPT 的定位概念跟 Perplexity、Google 的 AI Overview 差不多；哈利認為 OpenAI 這次是為搜尋重做一套使用者體驗。哈利自己習慣用 Perplexity。
- 離初衷越來越遠這個功能純粹為了賺訂閱收入，對消費者未必是壞事，但哈利覺得 OpenAI 從研究 AGI 變成盈利導向的公司。
- Llama 3.1 登場4 月的 Llama 3 有 8B、70B、405B 三種，405B 當時還在訓練。這次正式釋出，Meta 還附了 92 頁論文。
- 405B 的表現benchmark 與 GPT-4o、Claude 3.5 Sonnet 同等級。Meta 的人類評測對 Claude 3.5 Sonnet 幾乎平手，對 GPT-4o 20% 贏、30% 輸。8B 和 70B 也贏過同尺寸的模型。
- 差距縮到兩個月從 Llama 1 到 3.1，開源和閉源的差距從一兩年縮短。祖克柏說已在訓練 Llama 4，哈利推測會在今年底或明年初完成。
- 架構與 Dense不是 MoE，405B 也是一整套權重。哈利說 LLM 都只剩 Decoder，原始 Transformer 論文的圖多了 Encoder 那半。
- 授權、蒸餾與取得License 放寬，可以拿 Llama 的輸出訓練別的模型，用 405B 當老師教 8B。用它訓練出來的模型，名字前面要加上 Llama。可到 meta.ai 或 Hugging Face 取得。
- 論文講了什麼論文把架構、訓練配方、硬體、安全措施寫得像教科書，哈利說想了解怎麼訓練模型看這篇就夠。他先講 Pre-training 與 Post-training 的分別。
- 預訓練資料量資料從 Llama 2 的 1.8 Trillion 增加到 15 Trillion，多了八倍，另外加強資料過濾。
- Scaling Law哈利回顧從 GPT-3 到 Chinchilla 的演變，再講 Meta 自己做的實驗：改看下游任務的能力而不是 Loss，資料量超過 Chinchilla 建議值後模型還會變好。
- 為什麼做這麼大想拼 Frontier Model 排名，405B 勉強塞得進 8 個 H100 的節點，而且它的任務是產生訓練資料給小模型。
- Post-training 與合成資料流程是 SFT 加 DPO 反覆進行，大部分資料由 AI 產生或標註。寫程式的資料可以直接執行驗證，報錯就重寫。
- 數學奧賽的 AIAlphaProof 把題目轉成 Lean 語言，能自動判斷對錯，所以可以自己出題自己練。哈利說這類 AI 強在結果好判斷，換成沒有標準答案的問題就不行。
- 訓練硬體Llama 3 改在 Meta 的 Production Cluster 訓練，405B 用 16000 個 H100。哈利說沒看過大公司這麼透明地公開 Training Cluster。
- 機架內外的連線機架內用 NVLink，機架之間用 Meta 自己的乙太網路 RDMA，不採用 NVIDIA 的整套系統。
- MFU 只有 40%GPU 算力有六成在等資料。哈利據此說明 NVIDIA 的市佔，並推測換成 AMD MI300X 可能掉到 10% 或 20%。
- 四種平行化與供電同時用四種平行化，還要處理訓練時用電忽高忽低的問題，哈利說一般人與小公司碰不到。
- 跳過 safety哈利說他對 red teaming 沒興趣，認為目前 LLM 做得到的壞事 Google 搜尋也做得到，等模型有更進階的能力再專門做一集。
- 為什麼開源：賺錢與產品第一點是 Meta 靠廣告賺錢，不靠賣模型。第二點是模型越強產品越好，包括名人 AI 分身、企業客服、Ray-Ban 眼鏡。
- 為什麼開源：不受制於人第三點是不想被閉源公司綁住。哈利舉 Apple Tax 與 App Tracking Transparency 影響廣告收益，並提到 Meta 開源資料中心設計的先例。
值得記的話
▶ 14:27「我覺得真的太佛了好不好怎麼會有這麼好的事情」
▶ 42:51「但其實 AI 能做得好單純就是因為他們的結果是非常好判斷對錯的」
▶ 45:59「我們從來沒有一間科技巨頭出來這麼透明公開的跟大家說」
▶ 53:13「你現在能靠 LLM 做到的壞事你靠 Google search 都做得到嘛」
▶ 55:31「Meta 的 business model 不是靠 AI 模型賺錢的」
名詞與人物
- Llama 3.1
- Meta 的開源模型系列，這次釋出 8B、70B、405B 三種，405B 是有史以來最大的開源模型。
- Dense / MoE
- Dense 是每個字都用同一套權重計算；MoE 是把多個小模型組起來，每個字只動用其中幾個。Llama 3.1 是前者。
- Tokenizer
- 模型認得的詞彙單位，這次換成 128K 的版本，詞彙量更豐富。
- Pre-training / Post-training
- 前者是餵大量資料建立基本認知，後者用較小的資料集強化特定能力並調整價值觀。
- Scaling Law
- 模型參數與訓練資料量如何調整會影響結果的觀察，哈利強調它是觀察到的現象，不是定律。
- Chinchilla
- Google 研究者提出的 Scaling Law，主張訓練資料量要跟參數量等比例增加。
- 蒸餾（Distillation）
- 用大模型當老師，產生資料訓練小模型。
- 合成資料（Synthetic data）
- 由 AI 產生或標註的訓練資料。
- MFU
- Model Flops Utilization，可想成 GPU 算力的使用率，這次訓練平均約 40%。
- RDMA over Converged Ethernet
- 在乙太網路上實現 RDMA 的技術，讓 GPU 之間不經過 CPU 直接交換記憶體資料。
- AlphaProof / AlphaGeometry2
- Google DeepMind 在數學奧林匹亞拿到銀牌的兩個 AI。
- SearchGPT
- OpenAI 宣布推出的 AI 搜尋引擎。
延伸
- Llama 3 剛出時哈利錄過 EP37，聊 405B 還在訓練與 Tokenizer；RDMA 與機架連線的背景在 EP43 介紹過。
- 哈利說區塊鏈系列的續集已確定，但要等哪一週沒有大新聞。
- 他提到 Perplexity 的 CEO Aravind 說過，網站每個小細節都是精心設計的，這是 SearchGPT 值得做獨立 UX 的背景。