Gemma 4 上邊緣裝置的做法

概要

• Gemma 4 往代理能力走Chintan 說 Gemma 4 的演進是從聊天機器人式的能力，走向支援推理的自主 agent。這場聚焦在為裝置端設計的 E2B 與 E4B 兩個尺寸。
• 新增的四項能力Chintan 列出 function calling、直接內建在模型架構裡的 structured JSON 輸出、thinking 模式，以及針對多種硬體最佳化。推論核心留在裝置上，也能再去呼叫外部 API。
• Gallery app 是試玩場app 內可示範 agent skill、音訊轉寫、ask image 等功能，全部在裝置上跑。範例程式碼可以取用、fork，使用者也能自己寫 skill 並分享到 GitHub。
• LiteRT 負責部署這是 Google 的裝置端框架，沿用 TensorFlow Lite 的模型格式，並接受 PyTorch 與 JAX 模型轉換。Chintan 介紹了 Model Explorer 與雲端的 AI Edge Portal 這兩個輔助工具。
• NPU 與跨平台Qualcomm 與 MediaTek 的整合已完成，Chintan 說 NPU 至少帶來 3 到 10 倍的效能提升。同一套模型也在 Raspberry Pi 等平台上展示。
• Q&A 談到本機辨識與混合架構Chintan 與同事 Weiyi 一起回答，題目包括在地端做人臉辨識、本機與雲端分工的 orchestration，以及能否換成其他開放權重模型。

原話

• “the big evolution with Gemma 4 is going to be really moving from like chatbot type capabilities to more autonomous agents that also support reasoning capabilities”

  Gemma 4 最大的演進，是從聊天機器人式的能力，走向支援推理的自主 agent

  ▶ 01:55

• “real-time latency is king over there”

  在那類即時相機的場景，即時延遲說了算

  ▶ 02:12

• “Each of these capabilities has sample code as well that anyone can go and grab and then you are able to also fork this app”

  每項功能都附有範例程式碼，任何人都可以拿去用，也可以 fork 整個 app

  ▶ 06:17

• “we are building on a trusted foundation”

  我們是建立在一個可信賴的基礎上

  ▶ 12:06

• “I think the NPU is going to give you at least like 3 to 10x improvement in performance”

  我認為 NPU 至少會帶來 3 到 10 倍的效能提升

  ▶ 16:05

延伸

• Chintan 提到 Gallery app 的各項功能都附有範例程式碼，並有教學說明怎麼寫 skill，但講稿沒有說細節。
• 稿子裡只簡單提到有一個新的 CLI 工具，附 Python binding，沒有展開用法。
• 效能數字 Chintan 說都列在 Hugging Face 頁面上，這場只口頭帶過幾個。