所有節目›AI Engineer Europe 2026World's Fair 2026World's Fair 線上軌AI in HealthcareSoftware Factories
Build & deploy AI-powered apps在 YouTube 看這一場

AI Engineer Europe 2026 · 工作坊 · 2026-04-29 · 63 分

在 AI Studio 現場做出 Gemini 應用

Build & deploy AI-powered apps · Paige Bailey,Google DeepMind

Paige Bailey 幾乎不放投影片,直接在 AI Studio 現場示範 Gemini、Genie 3、Veo、Lyria 與 Gemma 4,最後用語音描述做出一個書架編目 app。

語音架構看原片 ↗

概要

  • 一個介面試遍近期模型Paige 在 AI Studio 裡切換 Gemini 3.1 Pro、Flash-Lite、Nano Banana 2、Veo 3.1 Lite、Lyria 3 與 Gemma 4,開關工具、調 thinking 等級,再用 Get Code 取得對應程式碼。
  • 小模型加工具就夠用Paige 開了 code execution,請 Gemini 3.1 Flash-Lite 在 Lego 照片上畫出綠色積木的框,一次成功,花費遠低於一美分;URL context 則讓模型讀訓練截止日之後才發布的文章。
  • Gemini Live 取代拼接管線Paige 邊分享螢幕邊和模型對話,請它改用義大利文回答,也能看鏡頭回答比了幾根手指,並說這比自己串語音轉文字、LLM、文字轉語音便宜得多。
  • 用 Build 從描述長出 app口述需求後,Gemini 3.1 Pro 自己規劃並建好 Firestore 與 Google 登入,做出拍書架就能編目的 app,Paige 說這在三、四年前可能就是一間新創。
  • Genie 3 與生成媒體Genie 3 能依文字生成可操控的世界,Paige 說它背後是 Nano Banana、Veo 與 Gemini 組成的多模型組合,目前沒有 API;Veo 3.1 Lite 與 Lyria 3 也在現場各做了一個示範。
  • Gemma 4 開放權重可免費試用Paige 說 Gemma 4 能在 AI Studio 免費呼叫,也能下載後自行微調,採 Apache 2 授權,最小的版本可在手機上跑。

原話

  • “Gemini 3.1 flashlight was able to get it right out of the gate, which is pretty wild.”

    Gemini 3.1 Flash-Lite 一次就做對,這點很驚人

    ▶ 14:57
  • “Gemini Live gives you the ability to share your screen, share a video feed, share audio with the model”

    Gemini Live 可以讓你分享螢幕、視訊畫面和音訊給模型

    ▶ 19:27
  • “Genie 3 is actually a composition of models.”

    Genie 3 其實是多個模型的組合

    ▶ 33:26
  • “Genie 3 is not currently available as an API just yet”

    Genie 3 目前還沒有 API

    ▶ 36:12
  • “the way to orchestrate this isn't having Gemini Live control the robotic actions.”

    這個編排方式不是讓 Gemini Live 直接控制機器人動作

    ▶ 1:00:09

延伸

  • Paige 說當天下午還有一輪 DeepMind 各場次的快速導覽,Gemma 團隊的 Ian 也會再來分享。
  • Paige 提到 World Labs 以含 Unity、Unreal 風格資產生成的方式做世界模型,只說明方向不同,沒有細談。
  • Genie 3 目前要透過 Ultra 訂閱使用,而且只開放部分國家;Paige 說團隊正在考慮 trusted tester 計畫。

章節

點時碼直接跳到原片的那一段。

  1. 開場與自我介紹大樓其他地方出了電力問題,只有早到的人聽得到;Paige 預告這場以 demo 為主,並簡述自己從 2009 年起做機器學習的經歷。
  2. 近一個半月的模型清單Paige 逐一點名 Gemini 3.1 Flash Live、Pro、Flash-Lite、Nano Banana 2、Lyria 3、Genie 3、Gemma 4、Veo 3.1 Lite,並提到 Augment Code 把整套 agent 預設改成 Gemini 3.1 Pro。
  3. 多模態輸入與輸出Gemini 的特色是輸入與輸出都是多模態,Paige 說多數其他模型的輸出只有文字與程式碼。
  4. AI Studio 介面與工具開關只要 Gmail 帳號就能免費開始;右側可選模型,開結構化輸出、code execution、function calling、Google Search 與 Maps grounding、URL context。
  5. 貼 YouTube 網址分析影片貼上恐龍影片網址並限定前五分鐘(約 27,600 tokens),請模型做出恐龍時間表;也介紹 thinking 的四個等級與 Get Code。
  6. code execution 與比較模式用 Lego 照片比較 Gemini 3.1 Flash-Lite 與 3 Flash,兩者都畫對綠色積木的框,成本都低於一美分。
  7. URL context 與 3.1 系列定位貼入 Gemma 4 與 Genie 3 的文章,讓模型引用來源比較;再講 Pro 最大也最貴、3 Flash 是正式環境最常用的主力、Flash-Lite 逐漸有人採用。
  8. Gemini Live 示範分享螢幕後請模型描述畫面,並請現場聽眾驗證義大利文回答;也示範改變說話風格與用鏡頭數手指。
  9. Build:口述做出書架編目 app介紹 Build 模式新增的資料庫、登入與 API key 管理,並口述需求讓 Gemini 3.1 Pro 開始生成,之後穿插其他示範。
  10. Project Genie 示範用 Genie 3 生成 Lego 岩層的 Big Bend 世界並操控粉紅鴕鳥,Paige 說 Genie 3 是 Nano Banana、Veo、Gemini 等模型的組合,目前沒有 API。
  11. 提問:能否產出 3D 資產有聽眾問能否產出 3D 遊戲資產,Paige 說不行,只有畫面像素;並提到 World Labs 走含資產生成的不同路線。
  12. 請 Gemini 畫 SVG以 Lego 照片請 3.1 Pro 用 high thinking 產生 SVG,結果積木種類對、配置不對;再開 code execution 讓它自己叫工具。
  13. Nano Banana 2 與圖片搜尋 grounding開啟圖片搜尋 grounding,把狗和公園照片合成拿著 Celsius 罐子的畫面,並指出成本比 Pro 級低很多。
  14. Veo 3.1 Lite 生成影片先請 Gemini 寫提示詞,再生成素食籃球餐車的素材影片;輸出為 720p,可選比例與 4 或 6 秒長度,需付費 API key。
  15. Gemma 4 開放模型Gemma 4 可在 AI Studio 免費呼叫,支援圖片、音訊與影片理解,也能下載微調,最小版本可上手機。
  16. Lyria 3 音樂生成用 Guillaume 做的 app 生成西班牙文歌詞的電子樂片段,並提到 Lyria 3 Pro 與 Clip 兩種預覽模型。
  17. 書架 app 完成與部署登入後上傳書架照片,app 辨識書名、作者與簡介並存進資料庫;可公開分享,也能一鍵部署到 Cloud Run,Paige 因怕耗額度沒有實際部署。
  18. 機器人與擴增實境應用介紹開源機器人 Puppr 用 Gemini 做物體偵測與規劃,由機器人上的本地模型執行動作;Gemini Live 也可做即時翻譯轉寫。
  19. 結尾提問有聽眾問及 Codex 類產品,Paige 說團隊有計畫推出 AI Studio app;也建議 Gemini 搭配 OpenClaw 與免費額度當作可行的路線。

名詞

AI Studio
Google 讓人用 Gmail 帳號免費試用 Gemini 模型的介面,可開關工具並取得對應程式碼
Build
AI Studio 裡的做 app 功能,Paige 說用起來跟 v0.dev 或 Lovable 很像,已支援資料庫與登入
code execution
讓 Gemini 在內建多種資料科學函式庫的沙盒 Python 環境中執行程式的工具
URL context
把一串網址放進模型脈絡的功能,Paige 稱之為窮人版的檢索
Gemini Live
即時對話模型,可接收螢幕、影像與音訊,並能呼叫函式與 Google Search
Genie 3
DeepMind 的世界模型,依使用者輸入逐格即時生成可操控的世界
Nano Banana 2
圖片生成與編輯模型,可以開圖片搜尋 grounding
Veo 3.1 Lite
低成本的影片生成模型,可輸出含音訊的素材
Lyria 3
音樂生成模型,有 Pro 與 Clip 兩種預覽版
Gemma 4
Google 的開放模型系列,採 Apache 2 授權,可免費在 AI Studio 試用或下載自行微調
Puppr
Paige 介紹的全開源機器人,可 3D 列印零件,跑在 Raspberry Pi 上並用 Gemini 做偵測
Guillaume
做出 Lyria Studio app 的同事,在會場後排

相關影片 同屬「語音架構」