Android 上跑 Gemini Nano 的選項

概要

• 三條路Android 上做智慧功能可以全在裝置上跑、混合（有本機模型就用本機，否則走雲端），或是全部走雲端。裝置上跑的好處是敏感資料不必離開手機。
• Gemini Nano 經由 AICore 提供ML Kit 的 GenAI API 讓開發者用到 Gemini Nano，模型由 AICore 這個系統服務統一管理，裝置上只有一份，所有 app 共用。
• Prompt API 最通用除了摘要、校對、改寫這些針對特定任務的 API，Prompt API 可以用自然語言對 Gemini Nano 下指令。目前輸入支援文字與圖片，輸出只有文字。
• 裝置不夠新就走混合Gemini Nano 目前在 Pixel 9、Pixel 10 這一代的裝置上才有，其他裝置可以透過 Firebase AI Logic 的混合推論退回雲端，擴大功能的覆蓋範圍。
• 電池與排程交給系統Oli 說一般互動式用法（一天十到二十次）對電池沒有太大影響，批次工作則常在夜間充電時跑。多個 app 搶用時會排隊，前景 app 優先。
• 要更廣的裝置就得自己測傳統 ML Kit 模型很小，能跑在超過十億台裝置上；GenAI API 目前需要近幾年的旗艦機。想涵蓋更多裝置得走自訂模型，測試要自己做。

原話

• “Yes, there is battery impact. If you are running this nonstop, you are going to run down the battery fairly quickly.”

  是有電池影響，如果一直不停地跑，電量會掉得很快

  ▶ 08:45

• “if we put this in the system we do that once and everyone can share and benefit from it”

  我們把模型放在系統裡，只要做一次，所有人都能共用

  ▶ 10:53

• “If you're in the foreground, of course, you're going to have top priority.”

  在前景的話，自然擁有最高優先權

  ▶ 12:22

• “So what we're focusing on here is building the lower layers to enable you or others to build those things on top.”

  我們專注的是打底層，讓你或別人在上面蓋東西

  ▶ 14:50

延伸

• 這場提到 Gemma 4 帶來的下一代 Gemini Nano，說已經可以透過 AICore preview 試用，但沒有說正式推出的時程。
• 談電池時，其中一位講者拿 GPS 與 Wi-Fi 類比：使用者覺得功能有價值，就願意花電；所以系統集中排程與配額，讓開發者不必自己顧。