AI Engineer Europe 2026 · 工作坊 · 2026-05-23 · 115 分
Google 生成媒體與本機模型
Prompt to Pipeline: Building with Google's Gen Media Stack · Paige、Guillaume，Google DeepMind
Paige、Guillaume 與 Ian 接力，從 AI Studio 做到把一本書變成圖、影片與配樂，最後把 Gemma 4 跑在手機和筆電上。
概要
- 三人接力Paige 講 AI Studio，Guillaume 帶 GenMedia workshop，Ian 示範 Gemma 4，同一場從雲端模型一路講到手機與筆電上的模型。
- AI Studio 一鍵取碼在 AI Studio 做得出來的流程，按 Get Code 就能拿到對應設定的程式碼。Paige 用 Gemini 3.1 Flash-Lite 分析影片，並用 Build 做出會存資料庫的書架 app。
- 一本書變成多媒體Guillaume 用 Gemini 為整本書寫結構化 prompt，再接 Nano Banana 角色與章節圖、Veo 影片、Lyria 3 配樂與多角色 TTS。
- 角色一致性的做法章節圖裡角色沒有沿用先前的設計，Guillaume 改成讓每章帶出場角色清單，生圖時只附該角色的參考圖。
- 模態與開放的限制Veo 目前吃不了音檔，Lyria 也不能多輪修改；Guillaume 認為圖片與影片模型不太可能開權重，音樂則可能放到裝置端。
- Gemma 4 跑在本機Ian 在手機、LM Studio 與 OpenCode 上示範 Gemma 4，包含 Agent Skills、10 個 sub-agent 畫 SVG，以及本機模型寫遊戲時的排錯。
原話
▶ 16:57“if you can get it working in AI Studio, you can get it working as part of your app”
只要在 AI Studio 做得出來，就能放進自己的 app；這是 Paige 講的
▶ 1:02:19“if you are in a real book with like 40 characters, that wouldn't be sustainable”
如果是真的有 40 個角色的書，這樣做就撐不住；這是 Guillaume 講的
▶ 1:07:25“a lot of the training data for the GenMedia models is actually made using Gemini”
GenMedia 模型的訓練資料有很多其實是用 Gemini 做的；這是 Guillaume 講的
▶ 1:17:22“I'm asking the model to create different files for each feature”
我要求模型為每個功能建立不同的檔案；這是 Guillaume 講的
▶ 1:46:25“it's something that you can actually run at home”
那是你真的能在家裡跑起來的東西；這是 Ian 講的
延伸
- Guillaume 對 Vertex AI 的建議：它能指定 prompt 在哪個資料中心跑，在意資料不出歐洲的客戶很需要，但設定麻煩，所以只建議已經在用 GCP、或有 DevOps 團隊能幫忙設定的人從 Vertex 開始。
- Guillaume 說第一代 Gemini 其實吃得了圖片，只是上線時用 post-training 擋掉；1.5 剛推出時，偶爾還會回「我只是 LLM，處理不了圖片」。
- Paige 說 Genie 3 目前只在部分地區透過 Ultra 訂閱開放，公開版的世界一次只能玩 60 秒。
章節
點時碼直接跳到原片的那一段。
- Paige 的背景Paige 自述 2009 到 2010 年左右開始做機器學習，貢獻過 NumPy、SciPy 這類科學運算套件，在 Chevron 做地底地球科學，後來幫 TensorFlow 接上 GPU，之後去 GitHub 做 VS Code 與 Copilot 早期使用者體驗測試，回 Google 後參與 PaLM 到 Gemini 與 Gemma 的團隊。
- 大家搶著做的事其中一位講者說，看到所有人衝刺同一件事，往往是個警訊，因為模型遲早會自己具備那項能力：向量資料庫、各語言的微調、agent 框架都是例子，MCP server 也漸漸被 skills 取代（skills 被形容成花俏一點的 markdown 檔）。反例是 MedLM 與 MedPalm 兩個微調，現在大家直接用 Gemini 搭檢索或自訂 prompt。
- 開場與近期發布Paige 說這場是早上兩場的重播，接著列出近一個半月的發布：Gemini 3.1 Pro 與 Flash-Lite、Augment Code 預設改用 3.1 Pro、Nano Banana 2、Embeddings 2.0、Lyria 3、Genie 3、Gemma 4（上週、Apache 2 授權）、Veo 3.1 Lite。也提到 Gemini 原生多模態，輸入輸出都不只文字。
- AI Studio 與影片分析示範在 AI Studio 選 Gemini 3.1 Flash-Lite Preview，貼 YouTube 連結分析 0 到約 300 秒、約每秒一幀、30,900 token，請它做恐龍時間表，按 Get Code 就拿到同樣設定的程式碼。接著開 code execution，拿 Flash-Lite 對比 3 Flash 在樂高圖上畫邊界框，後者會自我驗證、多花工具呼叫，成本仍在幾分錢。
- Build 做書架 appBuild 的定位像 v0.dev 或 Lovable，最近加了資料庫與登入。Paige 下指令要一個能上傳書架照片、用 Google 搜尋補齊書名作者描述類型、並存進資料庫的 app，同時帶出自訂 secrets、版本記錄、OAuth 與 GitHub 同步。
- Gemini Live 示範Gemini Live 能多語言對話，也能分享影片與螢幕，背後是一條語音轉文字、LLM、文字轉語音的串接。現場請它看螢幕，只用西班牙文回答，再改成卡斯蒂利亞西班牙語；鏡頭前比手指它會算出來並寫詩。
- Genie 3 世界模型Paige 說 Genie 是由 Nano Banana、Veo 與多個 Gemini 組成的系統，逐像素生成可玩的環境，不產生 Unity 或 Unreal 場景，也沒有物理引擎。現場用 Regent's Canal、插海盜旗的船與粉紅閃亮松鼠生成一個 60 秒的世界；WorldLabs 走的則是 Unity 與 Unreal 路線。
- 書架 app 排錯完成回頭看 ShelfScan：第一次存檔遇到 Firestore 權限不足，模型自己找出要改的規則；重傳後書自動編目，登出再登入資料還在，最後用 QR code 分享。中間也翻了 app gallery 的範例，例如 Lyria 音樂、多人遊戲、MediaPipe 手勢遊戲。
- Guillaume 談生成媒體Guillaume 自介在 Google 六年、DeepMind 兩年，今年專心做 GenMedia，說 GenMedia 模型平均每五天就有新模型或新功能，並介紹 Nano Banana 2 的圖片搜尋 grounding、Veo 3.1 Lite（現場講的價格是 five cents per image）、Lyria 3 的 30 秒與三分鐘歌曲，以及像 DJ 一樣持續生成的 Lyria Real-Time。
- workshop 設定Guillaume 請大家開連結自己跑 notebook，並先提醒這些是付費模型，整本約 1 歐元，影片最貴。範例是用 Project Gutenberg 的 The Wind in the Willows 做插圖、影片與配樂；也釐清消費者 app、Vertex AI、AI Studio 與 developer API 三者的定位，並用 file upload API 免設 bucket。
- 結構化輸出與角色圖Guillaume 用結構化輸出讓模型只回 prompt，用 chat 模式保留整本書與已生成的圖，讓風格與角色較一致。風格設成 dark fantasy，並替 Nano Banana 加 system instructions（不要邊框、標題、分格），再請模型描述角色、逐一生成水鼠、蟾蜍、獾等角色圖。
- 角色一致性的解法章節圖生成後，蟾蜍沒有沿用先前的角色圖。Guillaume 改讓結構化輸出多帶一份出場角色清單，生圖時只附上該角色的參考圖，並說真實書籍有 40 個角色時不能全塞進 context，大規模時會替每個角色做多個角度。
- Veo 把圖變影片Guillaume 用最大的 Veo 模型，拿圖片 prompt 與最後一張圖當起始幀，生成 720p 直式影片。接著改請模型依圖片另寫「之後發生什麼」的 prompt，效果反而沒比較好；同一個 prompt 還會讓畫面多出文字，原因不清楚。
- Lyria 3 生成配樂Guillaume 同樣讓模型根據章節寫音樂 prompt，再用 Lyria 3 產三首歌：原聲民謠、帶小提琴與貝斯的輕快旅程曲、弦樂撥奏的懸疑曲，覺得三首都貼切；還說 GenMedia 模型的訓練資料有很多是用 Gemini 做的，所以 Gemini 很會寫這類 prompt。
- 多角色語音合成TTS 跟 NotebookLM podcast 用的是同一類模型。Guillaume 示範用 prompt 讓一次生成出現兩個以上的角色：先請 Gemini 把書中對話改寫成劇本，旁白用 Sulafat 聲音，其他角色共用 Fenrir 聲音，再靠風格描述（例如語速、英式口音）區分，也提醒開頭一定要加 read this 之類的指令，否則文字會被忽略。
- 重做 notebook 與技巧Guillaume 把整本 notebook 貼進 Build 要它做成 app，先前跑過約 15 分鐘；現場等待時先展示 Lyria Real-Time 做的 Space DJ，在星空裡靠近行星就會播放對應音樂。最後分享 vibe coding 的習慣：要求模型每個功能分一個檔案方便審查，並一定要加 logs，因為只有錯誤訊息不夠除錯。
- 模態限制問答有聽眾問能不能把 Lyria 音樂接進 Veo 影片。Guillaume 說目前不行，Veo 不是設計來吃音檔，未來希望每個模型都能吃所有模態，Lyria 也能收音檔當參考或做多輪修改。也建議別拿 Veo 做音樂，因為那一代訓練時還沒有音樂模型。
- 服務層級與開權重Guillaume 在程式裡加了上週推出的 service tier：Flex 請求可能等幾分鐘但半價，類似 batch API；priority 較可靠但兩倍價格。有人問 GenMedia 會不會開權重，答覆是圖片與影片不太可能，因為生成前後都有檢查，音樂則可能放到裝置端。
- Gemma 4 家族介紹Ian 即興介紹上週四發布的 Gemma 4：E2B 與 E4B 給手機等小型硬體，利用 per-layer embeddings 可放在 flash；另有 26B（MoE、啟動 4B）與 31B dense 兩個大模型，可在筆電或單張 GPU 上跑，並說這代內建 thinking、多模態，能力曲線比 Gemma 2 平均，coding 與 function calling 也更好。
- 手機上的 Agent SkillsIan 用 Google AI Edge Gallery 示範 E2B 在 Pixel 上跑，新的 Agent Skills 可定義 Android intents、JavaScript skills 或 web view，由模型決定怎麼呼叫，例如替 research tracker 新增資料；也示範 2B 在手機上寫出會處理除以零的計算機，開 thinking 品質會再提升。
- LM Studio 與 sub-agentIan 說他們與 Ollama、LM Studio、vLLM、SGLang 合作確保相容，接著在 LM Studio 載入 26B（約 18 GB，加 context 約 22 GB RAM），用 OpenAI 相容端點讓一個 orchestrator 帶 10 個 sub-agent 同時畫 SVG，全程不需網路，最後彙整成一頁。
- OpenCode 與雲端部署Ian 說任何支援 OpenAI 相容介面的工具都能接，OpenCode 只要在設定檔填 provider 名稱、schema、模型與 URL 即可。另提到 Cloud Run 上單一指令把 Gemma 4 部署到 RTX Pro 6000，也可以直接到 ai.dev 試兩個大模型。
- 本機模型寫遊戲Ian 先請 31B 寫出 Nebula Drift 的遊戲 spec，再交給本機模型在 OpenCode 裡實作。第一版有語法錯誤，手動把錯誤貼回去後，模型編輯失敗、改成整份重寫；也說明 OpenCode 有逐行編輯與整檔重寫兩種工具，模型能啟動 sub-agent，31B 比 26B 穩。
- 截圖重建網頁Ian 在 ai.dev 用 31B 的多模態能力，把網站截圖一次轉成單一 index.html，免費但有共用使用上限，所以比 Gemini 慢。回頭看遊戲成果，有星空與可移動的飛船，但沒看到小行星，算是第一輪，可以再迭代。
- 其他整合與收尾Ian 展示團隊同事做的 Open Duck 機器人模擬器，E2B 在瀏覽器裡用 WebGPU 跑並下達動作指令；也提到 Android Studio 用 26B 做 agentic builder，以及與 ADK 搭配。收尾時截圖重建的網頁版面與字體都接近；現場觀眾提議的「在遊戲裡做遊戲」由 31B 一次寫成單一 index.html，跑起來真的有編輯器，放進去的三角形也會動。
名詞
- AI Studio
- Google 讓開發者最早用到 DeepMind 模型的地方，有 playground 與 Build，每個設定都能 Get Code
- Gemini 3.1 Flash-Lite
- Paige 示範用來分析影片與畫邊界框的低成本模型，現場說的價格約每百萬 token 25 美分
- Genie 3
- 由 Nano Banana、Veo 與 Gemini 組成的世界模型，逐像素生成約 60 秒可玩環境
- Nano Banana 2
- 圖片生成與編輯模型，這場用來畫角色與章節圖，並支援圖片搜尋 grounding
- Veo 3.1 Lite
- Guillaume 說是目前最便宜的影片生成模型，適合試 prompt
- Lyria 3
- 音樂生成模型，可產 30 秒或約三分鐘、含歌詞的歌曲，經由 API 提供
- Lyria Real-Time
- 持續生成音樂的即時模型，可像 DJ 一樣即時換 prompt，Space DJ 用的就是它
- Gemma 4
- 上週發布的開放模型家族，有 E2B、E4B、26B MoE 與 31B dense，Apache 2 授權
- E2B／E4B
- 為手機與小型硬體設計的 effective 模型，靠 per-layer embeddings 把部分參數放在 flash
- Google AI Edge Gallery
- 可在 Android 與 iOS 測試 Gemma 的 app，新增 Agent Skills
- OpenCode
- Ian 用來接本機 Gemma 的程式碼 agent 環境，透過 OpenAI 相容端點連線
- LM Studio
- 在本機載入並服務模型的工具，這場用來跑 26B 並提供相容端點
