Gemini 對話 agent 實作

概要

• Interactions API 的賣點Philipp 說這是同時接模型與 agent 的新 API，輸入輸出都是帶 type 的 content block，狀態放在伺服器，用 previous interaction ID 接續對話。
• 靠 skill 讓 coding agent 寫新 API現場先裝 Gemini 的 skill，讓 coding agent 寫出 agent 類別、讀寫檔與 bash 工具。Philipp 強調模型訓練時沒看過這個 API。
• 系統指示決定工具會不會被用請 agent 寫 CSV 時它沒呼叫工具，加上 coding agent 的系統指示後才改成寫檔。
• Live API 走原生音訊Thor 說 Gemini 3.1 Flash Live 不經過文字，支援多語、打斷與工具呼叫，但目前只有 WebSocket，連線方式有伺服器代理與 ephemeral token 兩種。
• demo 沒有照預期Google Search grounding 兩次都沒能回答天氣，Thor 當場承認；後來也只說回去查原因。
• 能不能上線要看需求Q&A 裡他們說這仍是預覽版，適合實驗；要合規、觀測與保存逐字稿，得靠合作夥伴方案或自己處理。

原話

• “And we see two to three times better cache rates”

  我們看到，使用 Interactions API 的新創快取命中率好了兩到三倍

  ▶ 13:50

• “either something the model cannot do reliably or if you have some personal preferences”

  Philipp 談 skill 該放什麼：模型做不穩的事，或個人對工作流的偏好

  ▶ 23:19

• “the model itself is going sound token to sound token”

  Thor 說原生音訊模型不走文字，直接從聲音 token 到聲音 token

  ▶ 57:18

• “because it gives you sort of the observability at each step of the pipeline”

  Thor 說現階段商業情境可能還是串接式流程比較好，因為每一步都看得到

  ▶ 1:29:29

• “So yeah, it is ready for experimentation.”

  回答能否上線時，他們說目前適合拿來實驗

  ▶ 1:32:55

延伸

• Thor 說他們正把 Live API 併進 Interactions API，這場還沒有時程。
• Philipp 說 context 超過上限只會報錯，壓縮功能還在做，目前要自己在客戶端處理。
• Google Search grounding 失靈的原因，Thor 在現場沒有查出來，只說回去會查。