哈利先花了半集反駁「SpaceX 股價很貴所以被高估」的說法,一步步交代他認為沒被高估的理由;後半集看蘋果 WWDC 的新 Siri,並拆解手機上那顆 20 billion 參數本地模型的跑法。
重點
貴不等於高估。哈利說網路上多數人從市銷率 100 多倍推到「被高估」,中間少了一段論證。他認為完整的說法應該是「它在賣一個做不到的夢,所以被高估」,而他自己不覺得 SpaceX 被高估。
估值押在太空資料中心。他認為 SpaceX 的 S-1 把市場幾乎寫成企業 AI 應用,太空資料中心只像小配角,但他覺得那才可能是最大的業務。只要這一塊成真,兩兆市值就合理,甚至偏便宜。
三個條件。AI 算力需求未來五年仍指數成長、太空資料中心技術上可行、星艦做到 100% 完全重複使用。他逐條認為機率都高,同時承認自己不懂太空散熱的物理,也可能是錯的,所以沒有 all in。
新 Siri 的價值在個人資料。Siri AI 能檢索訊息、行事曆、Email,第三方 App 只要用 App Intents 也能被它操作。哈利認為蘋果已經追上 AI,下一題是怎麼靠 AI 賺錢,他預期遲早收費,也會吃掉一部分 ChatGPT 的用量。
20 billion 本地模型不用全放進記憶體。模型平時存在 SSD,依任務只把需要的專家搬進記憶體,與共用專家組成 1 Billion 到 4 Billion 參數的小 Dense Model 來跑。
蘋果的 AI 實力被低估。這套做法對應蘋果去年五月的 IFP 論文。哈利認為這代表 DRAM 不必無止盡加大,也印證他上週說的「語音介面適合在地端跑」。
時間軸 點時碼從那一段開始
- 一週大事蘋果推出新 Siri、SpaceX IPO、馬斯克身價破兆美元,Anthropic 推出 Fable 5 又收回。哈利說今天主要聊蘋果。
- Fable 5 的出口禁令亞馬遜研究員找到破解防護機制的方法並回報政府,推出三四天後美國政府就禁止美國國民以外的人使用;不到一天又變成所有人都不能用,因為很難證明跨帳號的使用者是不是美國人。
- 外界說 Anthropic 自找很多人認為是 Dario 長期講末日論自找的。哈利覺得有道理,但也認為 Anthropic 與政府講的是不同語言,下次再談。
- 先交代自己買了一股SpaceX 以 135 美元一股上市,哈利只買了一股做紀念,準備賣一部分特斯拉,是為了控制馬斯克在整個投資組合裡的比重。
- 貴不等於高估市銷率一般科技巨頭是 5 到 7 倍、大不了 10 倍,SpaceX 是 100 多倍。哈利同意很貴,但反對「所以是割韭菜」這個跳躍。
- S-1 沒寫清楚的夢想他認為 S-1 幾乎只強調企業 AI 應用,太空資料中心被寫得像小配角,但它可能是最大的業務。
- Elon Web Service 的劇本他覺得最可能的劇本是 SpaceX 變成算力出租商,Grok 不太會是第一名。並引用 BG2 一集說,SpaceX 以某些衡量方式已是全球第四大雲服務提供商。
- 達成大夢的三個條件他說只要算力需求持續成長、太空資料中心可行、星艦 100% 重複使用,大夢發生的機率就很高。
- 條件一:算力需求他說可能 80% 的世界人口完全沒用 AI,真正用 Agent 的人不到 1%,未來每人的 Token 用量會持續五年指數成長。
- 條件二:技術可行軌道上已有一顆 H100 的概念驗證。他引用馬斯克公開的設計:每顆衛星約一個 GB300 NVL72 機櫃,約 150 千瓦,散熱板 110 平方公尺。
- 條件三:星艦重複使用100% 重複使用才能把部署成本壓到可管理的程度,他認為已經很近,並提到前陣子才講過星艦第十二次試飛。
- 結論:沒有被高估他說這就是完整論述,看不到多少人認真反駁三個條件,反對太空資料中心可行的人多半沒做功課。
- 可能是錯的,所以不 all in他承認隱藏條件很多、整件事是賭注。被問為什麼不 all in,他的回答是看機率分布決定下注多少。
- WWDC 兩大主題一是家長控制,二是 AI。他認為整體沒有驚艷的新應用,但都是實用有感的功能,重頭戲是 Siri AI。
- 新 Siri 能做什麼有世界知識與搜尋、能檢索個人資料與支援 App Intents 的第三方 App(例如 LINE),也有多模態,能看畫面與相機。目前只有 Developer Beta。
- Siri 的賺錢路線他認為 Siri 能吃下一部分 ChatGPT 的用量,蘋果遲早會收費,雲端運算成本現在全由蘋果自己承擔。
- 前沿模型靠第三方蘋果沒有前沿模型,也沒有 AGI Lab,得仰賴別人的模型,對象現在看似是 Google,但蘋果先後與不同家合作又疏遠。
- AFM 模型陣容indexing 修好了。地端有 3 billion 的 Dense 與 20 billion 的 Sparse 模型,雲端有小、大兩個模型加一個圖像生成模型。
- 20B 模型的跑法模型存在 SSD,依問題挑出適合的專家搬進記憶體,與共用專家合成 1 Billion 到 4 Billion 的小 Dense Model。
- LoRA 為什麼被放棄2024 年的做法是 LoRA,這次沒再出現,iOS 27 後也不再支援。他推測原因是 LoRA 突破不了基礎模型的能力上限,疊加多個效果也不一定好。
- IFP 論文由小 predictor 看指令,從大模型挑出適合的參數組成小模型。6 billion 挑 3 billion 比原生 3 billion 好,基礎模型越大越好。
- 改成 MoE 的產品版20 billion 模型是 IFP 的實作版,改用 MoE 是為了讓記憶體能大塊連續讀取,也能在回答途中重新選專家。
- 哈利的心得他認為蘋果的 AI 實力被低估,做法領先業界;就算起點是 Gemma,後續訓練與推論優化也是蘋果自己做的。
- 呼應 Computex蘋果這套做法是 DRAM 不必無止盡加大的例子,也印證他上週說語音介面該在地端跑。
值得記的話
▶ 15:47「一個股票很貴,不代表它被高估啊」
▶ 18:14「它的股價很貴沒錯,但它沒有被高估」
▶ 23:54「我自己認為 SpaceX 做到的機率是蠻高的」
▶ 33:30「任何只要是未來才會發生的事情,都有機率會失敗嘛」
▶ 1:10:53「蘋果的 AI 實力是真的有一點點被大家低估的」
名詞與人物
- Fable 5
- Anthropic 推出的模型,哈利說基本上是 Mythos 加上額外安全防護的版本;推出三四天後被美國政府禁止境外使用,隨後全面收回。
- 市銷率
- 股價是營收的幾倍。哈利說 SpaceX 還沒獲利,沒辦法比本益比,所以大家拿市銷率比。
- S-1
- SpaceX 的上市報告書。哈利認為它把目標市場寫得幾乎都是企業 AI 應用,有點誤導。
- 太空資料中心
- 很多顆 AI 衛星用雷射連起來,每顆約一個 GB300 NVL72 機櫃的算力。哈利認為這是 SpaceX 估值的關鍵。
- Elon Web Service
- 哈利對「馬斯克成為算力出租商」這個劇本的戲稱。
- Siri AI
- 蘋果新版 Siri,能檢索個人資料與第三方 App、有多模態。目前只開放 Developer Beta。
- App Intents
- 蘋果的框架;第三方 App 用它開發,資料才能被 Siri 檢索與操作。
- AFM
- Apple Foundation Models,蘋果這次更新的一組地端與雲端模型。
- Dense / Sparse(MoE)
- Dense 每次推論用到全部參數;Sparse 如混合專家模型,每次只用到一部分專家。
- LoRA
- 在基礎模型上加一個輕量修正矩陣來增強某項能力。哈利認為蘋果已放棄這條路線。
- IFP
- Instruction Following Pruning,蘋果自己發明的剪枝方法,依使用者指令決定用大模型的哪些參數。
延伸
- Anthropic 與美國政府的衝突,哈利說可以談得很深,這集先不展開。
- 想聽別人講類似的 SpaceX 觀點,他推薦 Gavin Baker 與 Brad Gerstner 上週錄的 BG2 那集。
- Siri 與本地模型承接他上週逛完 Computex 後講的個人 AI 裝置;他也提到之前訪談 Rick Osterloh 時聊到 Gemini 還很 jagged。星艦進度見講第十二次試飛的那一集。