Gemini 音訊能力一次看完

概要

• 音訊理解是底層Thor 說 Gemini 3 不只轉文字，連語氣、情緒、語速這些非文字的東西都能理解。語音生成和即時對話都建在這個基礎上。
• 一次請求抽出整包資訊Thor 現場用 Gemini 3 Flash Preview 處理自己的錄音，一個 API 呼叫就拿回講者、時間戳、語言、翻譯、情緒和摘要，再用 response schema 填進介面。
• 語音生成靠導演指示Gemini 的做法不是堆一大本聲音庫，而是約 30 種基礎聲音，再用提示詞指定口音與演法，現場示範了愛爾蘭口音和新加坡口音。
• 即時語音模型把智慧放進音訊裡Gemini 3.1 Flash Live 是 speech-to-speech 模型，可即時吃文字、音訊、影片。Thor 強調它和先轉文字再丟給 LLM 的串接式流程不同。
• 開發資源AI Studio 可以免費試用，畫面輸入目前上限是每秒一張，另有各語言範例，以及給 coding agent 用的 Gemini skill。
• 最後把音樂接進來Thor 做了 Live Jukebox，讓即時模型有個工具可以呼叫 Lyria 生成歌曲，現場點了一首德國 technoschlager。

原話

• “Gemini is really good at transcribing even people that are talking over each other, which is pretty incredible, seamlessly switching between different languages.”

  Gemini 很會轉錄，連互相搶話的人都行，還能流暢地切換語言

  ▶ 03:44

• “just like how you would direct a human, you know, to act out a certain way”

  就像你指導一個真人演員用某種方式演出來

  ▶ 09:13

• “the thinking and the reasoning and the intelligence is baked directly into the model”

  思考、推理和智慧都直接做進模型裡

  ▶ 12:21

• “working with real-time audio can just be a bit more challenging”

  處理即時音訊可能就是比較難一點

  ▶ 15:34

延伸

• Echo Script 的情緒標籤：Thor 說平常講德文會被判成生氣、講法文會被判成難過，這次分別是開心與中性；日文那段則沒有辨識對。
• Thor 說自己不太相信音訊領域的 benchmark，建議直接到 AI Studio 免費試，不用先綁信用卡。
• 即時對話裡愛爾蘭口音連德文也套上了，所以 system instruction 要寫清楚哪些語言才用這個口音。