AI Engineer Europe 2026 · 工作坊 · 2026-04-29 · 63 分
在 AI Studio 現場做出 Gemini 應用
Build & deploy AI-powered apps · Paige Bailey,Google DeepMind
Paige Bailey 幾乎不放投影片,直接在 AI Studio 現場示範 Gemini、Genie 3、Veo、Lyria 與 Gemma 4,最後用語音描述做出一個書架編目 app。
概要
- 一個介面試遍近期模型Paige 在 AI Studio 裡切換 Gemini 3.1 Pro、Flash-Lite、Nano Banana 2、Veo 3.1 Lite、Lyria 3 與 Gemma 4,開關工具、調 thinking 等級,再用 Get Code 取得對應程式碼。
- 小模型加工具就夠用Paige 開了 code execution,請 Gemini 3.1 Flash-Lite 在 Lego 照片上畫出綠色積木的框,一次成功,花費遠低於一美分;URL context 則讓模型讀訓練截止日之後才發布的文章。
- Gemini Live 取代拼接管線Paige 邊分享螢幕邊和模型對話,請它改用義大利文回答,也能看鏡頭回答比了幾根手指,並說這比自己串語音轉文字、LLM、文字轉語音便宜得多。
- 用 Build 從描述長出 app口述需求後,Gemini 3.1 Pro 自己規劃並建好 Firestore 與 Google 登入,做出拍書架就能編目的 app,Paige 說這在三、四年前可能就是一間新創。
- Genie 3 與生成媒體Genie 3 能依文字生成可操控的世界,Paige 說它背後是 Nano Banana、Veo 與 Gemini 組成的多模型組合,目前沒有 API;Veo 3.1 Lite 與 Lyria 3 也在現場各做了一個示範。
- Gemma 4 開放權重可免費試用Paige 說 Gemma 4 能在 AI Studio 免費呼叫,也能下載後自行微調,採 Apache 2 授權,最小的版本可在手機上跑。
原話
▶ 14:57“Gemini 3.1 flashlight was able to get it right out of the gate, which is pretty wild.”
Gemini 3.1 Flash-Lite 一次就做對,這點很驚人
▶ 19:27“Gemini Live gives you the ability to share your screen, share a video feed, share audio with the model”
Gemini Live 可以讓你分享螢幕、視訊畫面和音訊給模型
▶ 33:26“Genie 3 is actually a composition of models.”
Genie 3 其實是多個模型的組合
▶ 36:12“Genie 3 is not currently available as an API just yet”
Genie 3 目前還沒有 API
▶ 1:00:09“the way to orchestrate this isn't having Gemini Live control the robotic actions.”
這個編排方式不是讓 Gemini Live 直接控制機器人動作
延伸
- Paige 說當天下午還有一輪 DeepMind 各場次的快速導覽,Gemma 團隊的 Ian 也會再來分享。
- Paige 提到 World Labs 以含 Unity、Unreal 風格資產生成的方式做世界模型,只說明方向不同,沒有細談。
- Genie 3 目前要透過 Ultra 訂閱使用,而且只開放部分國家;Paige 說團隊正在考慮 trusted tester 計畫。
章節
點時碼直接跳到原片的那一段。
- 開場與自我介紹大樓其他地方出了電力問題,只有早到的人聽得到;Paige 預告這場以 demo 為主,並簡述自己從 2009 年起做機器學習的經歷。
- 近一個半月的模型清單Paige 逐一點名 Gemini 3.1 Flash Live、Pro、Flash-Lite、Nano Banana 2、Lyria 3、Genie 3、Gemma 4、Veo 3.1 Lite,並提到 Augment Code 把整套 agent 預設改成 Gemini 3.1 Pro。
- 多模態輸入與輸出Gemini 的特色是輸入與輸出都是多模態,Paige 說多數其他模型的輸出只有文字與程式碼。
- AI Studio 介面與工具開關只要 Gmail 帳號就能免費開始;右側可選模型,開結構化輸出、code execution、function calling、Google Search 與 Maps grounding、URL context。
- 貼 YouTube 網址分析影片貼上恐龍影片網址並限定前五分鐘(約 27,600 tokens),請模型做出恐龍時間表;也介紹 thinking 的四個等級與 Get Code。
- code execution 與比較模式用 Lego 照片比較 Gemini 3.1 Flash-Lite 與 3 Flash,兩者都畫對綠色積木的框,成本都低於一美分。
- URL context 與 3.1 系列定位貼入 Gemma 4 與 Genie 3 的文章,讓模型引用來源比較;再講 Pro 最大也最貴、3 Flash 是正式環境最常用的主力、Flash-Lite 逐漸有人採用。
- Gemini Live 示範分享螢幕後請模型描述畫面,並請現場聽眾驗證義大利文回答;也示範改變說話風格與用鏡頭數手指。
- Build:口述做出書架編目 app介紹 Build 模式新增的資料庫、登入與 API key 管理,並口述需求讓 Gemini 3.1 Pro 開始生成,之後穿插其他示範。
- Project Genie 示範用 Genie 3 生成 Lego 岩層的 Big Bend 世界並操控粉紅鴕鳥,Paige 說 Genie 3 是 Nano Banana、Veo、Gemini 等模型的組合,目前沒有 API。
- 提問:能否產出 3D 資產有聽眾問能否產出 3D 遊戲資產,Paige 說不行,只有畫面像素;並提到 World Labs 走含資產生成的不同路線。
- 請 Gemini 畫 SVG以 Lego 照片請 3.1 Pro 用 high thinking 產生 SVG,結果積木種類對、配置不對;再開 code execution 讓它自己叫工具。
- Nano Banana 2 與圖片搜尋 grounding開啟圖片搜尋 grounding,把狗和公園照片合成拿著 Celsius 罐子的畫面,並指出成本比 Pro 級低很多。
- Veo 3.1 Lite 生成影片先請 Gemini 寫提示詞,再生成素食籃球餐車的素材影片;輸出為 720p,可選比例與 4 或 6 秒長度,需付費 API key。
- Gemma 4 開放模型Gemma 4 可在 AI Studio 免費呼叫,支援圖片、音訊與影片理解,也能下載微調,最小版本可上手機。
- Lyria 3 音樂生成用 Guillaume 做的 app 生成西班牙文歌詞的電子樂片段,並提到 Lyria 3 Pro 與 Clip 兩種預覽模型。
- 書架 app 完成與部署登入後上傳書架照片,app 辨識書名、作者與簡介並存進資料庫;可公開分享,也能一鍵部署到 Cloud Run,Paige 因怕耗額度沒有實際部署。
- 機器人與擴增實境應用介紹開源機器人 Puppr 用 Gemini 做物體偵測與規劃,由機器人上的本地模型執行動作;Gemini Live 也可做即時翻譯轉寫。
- 結尾提問有聽眾問及 Codex 類產品,Paige 說團隊有計畫推出 AI Studio app;也建議 Gemini 搭配 OpenClaw 與免費額度當作可行的路線。
名詞
- AI Studio
- Google 讓人用 Gmail 帳號免費試用 Gemini 模型的介面,可開關工具並取得對應程式碼
- Build
- AI Studio 裡的做 app 功能,Paige 說用起來跟 v0.dev 或 Lovable 很像,已支援資料庫與登入
- code execution
- 讓 Gemini 在內建多種資料科學函式庫的沙盒 Python 環境中執行程式的工具
- URL context
- 把一串網址放進模型脈絡的功能,Paige 稱之為窮人版的檢索
- Gemini Live
- 即時對話模型,可接收螢幕、影像與音訊,並能呼叫函式與 Google Search
- Genie 3
- DeepMind 的世界模型,依使用者輸入逐格即時生成可操控的世界
- Nano Banana 2
- 圖片生成與編輯模型,可以開圖片搜尋 grounding
- Veo 3.1 Lite
- 低成本的影片生成模型,可輸出含音訊的素材
- Lyria 3
- 音樂生成模型,有 Pro 與 Clip 兩種預覽版
- Gemma 4
- Google 的開放模型系列,採 Apache 2 授權,可免費在 AI Studio 試用或下載自行微調
- Puppr
- Paige 介紹的全開源機器人,可 3D 列印零件,跑在 Raspberry Pi 上並用 Gemini 做偵測
- Guillaume
- 做出 Lyria Studio app 的同事,在會場後排








