用 MLX 在 iPhone 上跑 Gemma 4

概要

• 套件一個就夠Adrien 說在 iOS、macOS、iPadOS 上，裝 mlx-swift-lm 就能下載並執行模型，API 很單純，不到 10 分鐘就能做出一個跑本機模型的 app。
• 權重去 Hugging Face 的 MLX community 拿那裡有量化好的各種版本，Adrien 說有將近 4000 到 5000 個模型，新模型發表後差不多 30 分鐘就會有人上傳。
• 量化位元的取捨手機上要選量化版，Adrien 建議落在 4-bit 到 8-bit，4-bit 以下輸出明顯受影響，模型通常就不太好用了。
• 速度實測最新的 iPhone 上，4-bit 的 Gemma 4 能輕鬆跑到每秒 40 tokens；舊款 iPhone 到不了這個速度，但 Adrien 說每秒 20 tokens 也已經很有用。
• 小模型有小模型的用法Adrien 的 app 裡有 Liquid 的模型，小到可以在 Shortcuts 裡跑，拿來做文字處理等自動化。
• 目前的門檻是模型體積下載一個模型通常是 1 GB 或 3 GB，Adrien 認為這是最大的障礙，但模型變小變聰明、手機也在進步。

原話

• “It's really fast, it runs really well on MLX”

  很快，在 MLX 上跑得很順

  ▶ 01:19

• “Usually, under 4-bit, it's starting to get a lot of impact on the output.”

  通常低於 4-bit，輸出就開始受到很大影響

  ▶ 05:03

• “even if you get 20 tokens per second, that's already great”

  就算只有每秒 20 tokens，也已經很不錯

  ▶ 06:46

• “that's the biggest barrier right now”

  那是現在最大的障礙，Adrien 指的是模型的體積

  ▶ 07:18

延伸

• Adrien 提到有些套件建在 mlx-swift-lm 之上，試著補上結構化生成，但沒有說是哪些。
• Adrien 介紹 LM Studio 時提到，它能在本機開 server，回應格式可以選 OpenAI 或 Anthropic 那一種，讓自己的應用程式直接接上本機模型。