在手機上跑 skills 與微調小模型

概要

• 兩種裝置端 Gen AICormac 把選擇分成系統層與 app 內。系統層是預先裝在裝置上的 Gemini Nano（經由 AICore），app 內則用 LiteRT-LM 把模型跟著 app 或網頁一起帶出去，客製空間大，工也多。
• skills 靠 prompt 就能跑app 的 system prompt 裡只放 skill 的描述，模型需要時才呼叫內建的 load skill 工具，把細節載進來。skill 裡可以夾 JavaScript，用來在 app 裡畫出地圖或輪盤。
• 用 skills 寫 skillsCormac 說他們團隊用 Gemini CLI 之類的工具來寫 skill，還有一個 ADB skill，讓工具直接在裝置上除錯與測試。使用者也能從 URL 載入自己發佈的 skill。
• 小模型要窄而專模型小到 200 或 100 million 參數時，任務得很窄。部署流程是先在 transformers 裡取得模型，用 LiteRT Torch 匯出，再用 LiteRT-LM 執行。
• FunctionGemma 從 46% 拉到 90% 以上Cormac 說原版在 App Intents 範例裡的成功率大約 46%，用合成資料微調後，十個函式裡有八個超過 90%，另外兩個在 80 幾。
• Q&A 看到的限制4B 模型預設開約八個 skill，能在八個之間選得還算好。一次回答要連用多個 skill 還不穩，Cormac 說他們還在摸索。

原話

• “That's only kind of loaded on demand.”

  那些細節只在需要時才載入，指 skill 的函式與細節

  ▶ 07:52

• “So we can use skills to write skills.”

  所以我們可以用 skills 來寫 skills

  ▶ 09:09

• “it needs to have a very narrow and focused task”

  它得有一個很窄、很專注的任務，指 100 或 200 million 參數等級的模型

  ▶ 12:08

• “it's a bit more work than just prompting a larger model”

  這比直接提示大模型多了點工，指微調流程

  ▶ 15:29

• “we're still kind of discovering the limits of how far we can push the model”

  我們還在摸索這個模型能推到多遠

  ▶ 18:40

延伸

• Eloquent 的文字修飾模型還會清掉 um、ah 這類贅詞，Cormac 說這是離線轉錄 app 常被抱怨的地方；個人字典則是為了科技術語與人名常被轉錯。
• Swift 與 JavaScript 版的 LiteRT-LM API 還在做；Cormac 說 Swift 版發佈時，iOS 版 Gallery 也會開源。
• FunctionGemma 有微調 Lab（Hugging Face space）可以定義函式、上傳資料來微調，這場只是帶過，沒有操作示範。