Gemma 4 與裝置端小模型

概要

• 兩條裝置端路線Cormac 把裝置上的 GenAI 分成作業系統內建的 2B 到 5B 級模型，和跟著 App 走、針對單一任務的 tiny LLM。前者靠 prompt 或 skills 客製，後者靠微調。
• Gemma 4 的 E2B 與 E4B兩者只需把約 2B、4B 參數常駐記憶體，其餘 per-layer embedding 以記憶體映射處理。Cormac 認為內建的 function calling 與 thinking 是 skills 能在裝置端運作的關鍵。
• Skills 只載入需要的部分模型平常只看到每個 skill 的一行描述，要用時才載入完整內容，Cormac 說這對 token 用量和小模型的可靠度都有幫助。skill 本身可以只是一段 JavaScript。
• 限制式解碼補強小模型因為工具有限，團隊把 constrained decoding 限定到該呼叫的那個工具上。Cormac 說這對 2B 模型幫助很大，模型更大時就沒那麼必要。
• Tiny 模型要微調500M 以下的模型，Cormac 認為要微調才到得了量產可靠度，並說微調在評測上常有 20 到 40 分的增幅。常見做法是先用大模型產生合成資料，再微調 Gemma 3 270M 這類基底。
• Eloquent 當作實例離線聽寫 App Eloquent 把語音辨識和文字潤飾拆成兩個分別微調的小模型，可以刪掉贅詞，也能依個人詞表修正人名與術語。

原話

• “In our experience, you need to fine tune to get production level reliability.”

  以我們的經驗，要到量產等級的可靠度就得微調

  ▶ 11:19

• “So that combination of kind of thinking plus function calling is what unlocks our ability to now do skills on device.”

  thinking 加上 function calling 的組合，讓裝置端的 skills 做得起來

  ▶ 15:03

• “It was using skills to write skills”

  用 skills 來寫 skills

  ▶ 35:06

• “Fine-tuning is between 20 and 40 points on the eval.”

  在一項評測上，微調大約能增加 20 到 40 分

  ▶ 1:05:39

• “There's no hidden secret sauce in what we've shown.”

  我們展示的東西沒有什麼藏起來的祕訣

  ▶ 1:15:35

延伸

• Cormac 提到 Gemma 4 的更多細節與 AI Core 的 roadmap，要看同一場大會裡 DeepMind 與 Android 團隊的其他演講，這場沒有展開。
• 微調前後的數字，Cormac 現場憑記憶講，也提到有一篇部落格文章可看。
• Cormac 說跨多個 skill 串接的邊界還在摸索中，這場的示範多半是單一 skill。