哈利拆解 WWDC 發表的 Apple Intelligence：蘋果過去的 AI 底子、三種模型怎麼分工、哪些 iPhone 跑得動、LoRA 為什麼重要，最後補上 Starship 第四次試飛。
重點
蘋果早就在做 AI，只是不說。從 2017 年 iPhone 8 的 A11 Bionic 開始，裝置裡就有專跑神經網路的 Apple Neural Engine。哈利說蘋果習慣用 Machine Learning 這類詞，這次才第一次推出生成式 AI 功能，並包成 Apple Intelligence。
三種模型分工。最簡單的事交給裝置上的小模型，比較複雜的交給蘋果自家伺服器上的中型模型，再難的才問使用者要不要交給 GPT-4O。哈利提到蘋果說明了隱私保護的做法，但他不確定大家對 OpenAI 那一段買不買單。
功能不新，但對銷量有幫助。寫作輔助、Siri、圖片生成與修圖，哈利說多半安卓早就有，沒有一項讓關注 AI 的人驚艷。他認為蘋果也不需要，這些功能仍會帶動 iPhone 銷量，股價在 WWDC 後也上漲。
只有 iPhone 15 Pro 與 Pro Max 能用。哈利的看法是卡在記憶體，這兩款有 8GB RAM，其他機型是 6GB 或更低。蘋果說裝置上的模型約 3 Billion 參數，他自己推算約佔 1.65GB。
LoRA adapters 讓一個模型做很多事。手機只存一個模型，再存很多個小的 adapter，一個任務約 10MB。哈利預期這會變成 AI PC 與 AI 手機的業界做法。
蘋果不是在追 AGI。哈利認為拿蘋果跟 Google、OpenAI 比不公平，蘋果是想把 AI 融進產品。他判斷蘋果不太可能自己做出取代 OpenAI 的大模型，會像搜尋引擎那樣妥協。
時間軸 點時碼從那一段開始
- 開場閒聊錄音前哈利在 IG 看到爆紅的台灣高中生 Ray 和 Kim Kardashian 的合照，說自己從 Ray 剛紅就在追，祝他當兵順利。
- WWDC 開場上週最大的科技新聞是 WWDC。高層用極限運動入場，Craig Federighi 從二樓跑酷到一樓，哈利覺得很好笑。
- 今天的安排先梳理蘋果之前所有的 AI 努力，再講 Apple Intelligence，最後無論如何要補 SpaceX 的第四次試射。
- 蘋果不講 AI這次是蘋果第一次推出生成式 AI 功能，但先前一直在用 AI，只是改用 Machine Learning、Neural Network 這些詞。哈利覺得這是蘋果愛獨樹一格。
- A11 Bionic 與 ANE2017 年 iPhone 8 的晶片首次加入專跑 AI 的 Apple Neural Engine。他說最新 M4 裡的 ANE 比 A11 Bionic 裡的快了 60 倍。
- CoreML 與 ANE第三方開發者要用 CoreML，且不能指定用 ANE，只能試。哈利聽工程師抱怨文件不好，覺得蘋果對 ANE 開放得很少。
- MLX 框架去年年底推出、專為蘋果晶片設計的深度學習框架，可以想成蘋果晶片版的 PyTorch。優勢是 Unified Memory，但還比較早期，很多運算比 PyTorch 慢，也完全用不到 ANE。
- 低調發表的論文蘋果的研究團隊低調放 MM1、OpenELM 兩篇論文。哈利說 MM1 其實是 ablation study 的實驗結果，不是要推出的產品。
- 蘋果開始當一回事電動車部門關掉、人轉去 GenAI 團隊，傳聞與 Google 合作，這次實際與 OpenAI 合作，Tim Cook 也開始在財報會議提到 AI 投資。
- 三種大小的模型前半場是各系統更新，後半場全是 Apple Intelligence，哈利一句話評價是中規中矩。小模型在裝置上跑，中型在蘋果伺服器，最難的交給 GPT-4O 且要使用者點頭。
- 寫作輔助與摘要文法檢查、改寫語氣、智慧回覆、文章與訊息摘要，通話也能產生逐字稿與摘要。哈利提醒宣布的功能只有一部分會隨 iOS 18 先推出。
- Siri 變聰明能聽懂講到一半改口的指令，多了 Context Awareness（讀日曆、筆記、照片、Email），也能操控其他 App，例如叫相簿編輯器把照片調鮮豔。
- 圖像相關功能照片轉成卡通或素描風格、用自然語言生成 Emoji、自然語言搜圖，以及刪掉照片裡不要的人並補背景。
- 功能不驚艷也沒關係沒有一項功能是新的，但哈利覺得蘋果不必端出驚人的東西，果粉照樣會升級，銷量有幫助，股價也在 WWDC 後上漲。
- 隱私保護裝置上的小模型沒有隱私問題；中型模型承諾資料不會被存在伺服器，並請第三方驗證。OpenAI 那一段他提到蘋果會遮掉使用者 ID，但他不確定大家買不買單。
- 開放給第三方 App蘋果開放新的 App Intents 等 API，哈利舉例 Notion 之後可以接上系統的寫作功能。
- 哪些裝置能用電腦方面 M 系列晶片都可以，手機只有 iPhone 15 Pro 與 Pro Max。哈利判斷原因是 RAM：只有這兩款有 8GB，其他是 6GB 或更低，而 3 Billion 的小模型約佔 1.65GB。
- 蘋果算是賭對了哈利推測 A17 Pro 在 ChatGPT 爆紅前就設計好，剛好選在這一代升級 RAM。他建議想為 Apple Intelligence 升級的人可以等 iPhone 16，傳聞四支都換 A18。
- 蘋果的技術部落格蘋果公開了模型的技術細節，哈利覺得相當透明，但訓練資料講得不多。重點放在讓模型吃更少記憶體、算得更快。
- LoRA 是什麼先講 Fine Tuning，再講 LoRA：把學到的東西存進兩個小矩陣，原本的大腦不動，用加法加回權重。他用 Matrix 的「下載知識包」和 Stable Diffusion 的風格 LoRA 來比喻。
- 蘋果大量用 Adapters手機只存一個模型，搭配很多 adapter，每個任務一個。蘋果用 Rank 16，一個任務的 LoRA 約 10MB。他預期 Copilot Plus PC 與 Android 也會這樣做。
- 不能跟 Google 比Google 與 OpenAI 做 AI 是為了 AGI，蘋果是想把 AI 融進產品。蘋果論文與模型架構寫得詳細，因為對它來說 AI 是基礎設施。
- 蘋果會自己做大模型嗎哈利認為蘋果愛垂直整合，但不太實際，會像搜尋引擎讓 Google 當預設那樣妥協。ChatGPT 日後有商業模式，蘋果可能抽三成。目前雙方沒有互相付錢。
- AI PC 與 AI 手機的業界標準他歸納三點：雲端與邊緣的混合運算、以 LLM 與 Diffusion Model 為主、向量資料庫（語意索引）。Adapters 可能是第四點，向量化的細節他指向 EP41。
- 接下來的發展先等功能開放、累積使用者回饋，再看第三方軟體出 AI 版。每個軟體只好一點點，加起來差距就很大，他認為這是未來趨勢。
- Starship 第四次試飛Booster 的 Landing Burn 成功緩降海面，Starship 也撐到海面還有訊號。馬斯克說下次要試在發射台回收 Booster。
值得記的話
▶ 55:20「這個比較並非公平的比較」
▶ 57:20「對他們來說 AI 是基礎設施不是產品」
▶ 1:00:12「蘋果就可以抽個三成抽一下他們的 Apple Tax」
▶ 1:00:58「AI PC 跟 AI 手機的業界標準已經形成了」
名詞與人物
- Apple Intelligence
- 蘋果把裝置裡所有生成式 AI 功能（Siri、寫作輔助、圖片生成等）包成同一個名字。
- Apple Neural Engine（ANE）
- 2017 年 A11 Bionic 起放進晶片、專門跑神經網路的處理器。
- CoreML
- 蘋果給開發者把模型放進 App 的框架，不能指定一定用 ANE。
- MLX
- 去年年底推出、專為蘋果晶片設計的深度學習框架，哈利比喻為蘋果晶片版的 PyTorch。
- Unified Memory
- M 系列晶片讓 CPU、GPU 與 Neural Engine 共用同一塊記憶體，省下搬資料的成本。
- MM1、OpenELM
- 蘋果發表的兩篇論文，前者是多模態模型的 ablation study，後者是小型語言模型的研究。
- GPT-4O
- 蘋果在最難的問題上，經使用者同意後交給 OpenAI 的模型。
- LoRA（Adapters）
- 用小矩陣存微調出來的知識，再加回原模型，一個任務只要約 10MB。
- Craig Federighi
- 蘋果軟體工程團隊的主管，這次 WWDC 以跑酷方式入場。
- Starship
- SpaceX 的火箭，哈利說是有史以來最大、最重、推力最強，目標是完全重複利用。
延伸
- 向量資料庫如何讓 Siri 取得個人資料，哈利指向 EP41 的詳細解釋。
- 前三次 Starship 試飛的結果，哈利說在先前幾集的節目裡講過。
- 他提過上一集談到 NVIDIA 在資料中心的運算上獨霸。