自己擁有模型：Gemma 4 與主權

概要

• 為什麼需要開放模型Gus 說 Gemini 是最強、最容易試的選擇，但有些情境要在自己的硬體上跑、要客製，或資料不能離開自己的基礎設施，這時就輪到 Gemma。
• 四種尺寸Gemma 4 這次推出四種尺寸，兩個給手機的 E2B 與 E4B，加上 26B 的 MoE 和 31B 的 dense。Gus 說 26B 的 MoE 只需要 4B 模型的空間，31B 在一張 GPU 上就跑得動。
• 不一定要最聰明的模型Gus 的論點是摘要信件、協助寫程式、搜尋文件這類工作不需要全球最強的模型，便宜、硬體需求低更實際。
• 主權與授權Gus 提到 Gemma 4 的授權改成 Apache 2.0，不必再讓法務花 18 個月審自訂授權，主權機構比較容易採用。
• token 成本與門檻Ian 指出 agent 任務吃掉大量 token，所以可以把能完全交出去的工作搬到自己的硬體上。判斷時看模型做不做得到、裝不裝得下、延遲和成本三道門檻。
• 試用方式Ian 建議把既有流程的 OpenAI 相容介面指向 Ollama 或 LM Studio，換個模型名稱就能先試，再看它在自己的任務上表現如何。

原話

• “In some situations, you want to own the model.”

  有些情況下，你會想擁有這個模型。Gus 的話

  ▶ 01:27

• “They're very strong, but they're cheaper to run. They require way less hardware.”

  它們很強，但跑起來比較便宜，需要的硬體少很多。Gus 的話

  ▶ 05:36

• “And more than that, we are enabling sovereignty.”

  不只如此，我們是在讓主權成為可能。Gus 的話

  ▶ 07:05

• “that's all you need to change code-wise to at least try it out.”

  程式碼只要改這個，就至少能試試看。Ian 的話

  ▶ 18:42

• “how good the model is depends on how well it does on your task and not anybody else's task”

  模型好不好，要看它做你的任務表現如何，不是別人的任務。Ian 的話

  ▶ 19:04

延伸

• Ian 提醒，在本機跑模型付的不是 token 錢，而是能源與 GPU、NPU 的使用率，所以要想清楚任務需要即時回應，還是可以等手機夜間充電時在背景處理。
• Ian 說 Gemma 4 不適合拿來做整套系統架構的重新設計，但很擅長照具體指令重構、分析，或一小塊一小塊地產生程式碼。