Gemini 多模態 Agent 實作

概要

• 「any-to-any」目前還不是單一模型Patrick 說 Gemini 能吃文字、程式碼、圖片、音訊、影片等輸入，但主力的 Gemini 3 系列只輸出文字；圖片與語音生成由另外的原生生成模型負責，整合成一個模型是 Google DeepMind 的長期願景。
• 把 NotebookLM 做成 agent 而不是 workflow由推理模型自己決定要產出什麼，再透過 function calling 去呼叫其他模型，在迴圈裡判斷素材夠不夠，最後輸出文字、語音與資訊圖表。
• 理解階段幾行程式就能做用 Google GenAI SDK 上傳影片與 mp3，連同提示一起丟給 Gemini 3 Flash，就能產出摘要與實用提示；Patrick 也提到音訊與影片的長度換算、YouTube 網址與 context caching。
• 生成階段靠函式宣告串起來圖片函式與語音函式各自只收一個提示字串，agent 提示則交代什麼概念需要圖解、哪些段落適合做語音摘要。
• 原生生成的價值在模型懂世界Patrick 認為這些模型建立在 Gemini 之上，所以能看懂地圖上的標註、批改數學作業，語音模型也能處理口音與語氣。
• 即時互動走 Live API新的 Gemini 3.1 Flash Live 是音訊進、音訊出的單一架構，不再需要串接多個模型。

原話

• “It's natively multimodal, so you can also feed in code, image, audio, video, and then some more, like URLs and also Google search.”

  它原生就是多模態，所以還能輸入程式碼、圖片、音訊、影片，甚至網址與 Google 搜尋

  ▶ 01:09

• “So we want to build the same thing. And we want to build this as an agent rather than a workflow.”

  我們要做同樣的東西，而且要做成 agent，不是 workflow

  ▶ 03:21

• “This is especially useful if you're loading longer files into Gemini and doing repeated queries, because then it saves you 90% of the costs.”

  長檔案要反覆查詢時特別有用，因為這樣能省下 90% 的成本

  ▶ 07:16

• “you no longer have this cascaded pipeline with different models”

  不再需要串接不同模型的管線

  ▶ 14:01

延伸

• Patrick 提到 Gemini API 有對應的 skill，可以讓自己的 agent 直接照著寫呼叫程式碼，不必背程式碼。
• 長度換算：一分鐘音訊約 1920 個 token，Gemini 的上限是 100 萬 token，等於能餵超過九小時的音訊；影片大約是一小時。
• Patrick 說 Flash，甚至最小的 Flash-Lite，轉錄音訊都很好用，只要在提示裡要它產生逐字稿。