用 GenMedia 模型替一本書配圖配樂

概要

• 讓 Gemini 替 GenMedia 寫 promptGuillaume 說 GenMedia 模型的訓練資料有一大部分是 Gemini 寫的 prompt，所以用 Gemini 來寫 prompt 效果好，也提到 prompt 越長，結果越有意思。
• 用角色圖維持一致先為每個角色生成圖片，再讓每章的結構化輸出標出登場角色，只把對應角色圖當參考圖餵給模型，比整段靠 chat 歷史記憶更穩。
• 影片先寫「接下來會發生什麼」傳給 Veo 的圖會成為首幀，直接沿用原 prompt 會讓錯的角色說話，所以改成先請 Gemini 看圖寫出後續幾秒的動作，再交給 Veo。
• Lyria 全靠 prompt 控制Lyria 沒有參數，長度、BPM、音階、段落結構、歌詞與時間點都寫在 prompt 裡；輸出會附上歌詞與時間，clip 模型 30 秒約 $0.04，完整模型最長三分鐘、$0.08。
• 同一個聲音演多個角色TTS 示範先把對白改寫成附說話風格的劇本，再讓模型朗讀，即使只用兩個聲音，也聽得出不同角色。
• 新 API 與服務層級Guillaume 介紹 Interactions API（用 interaction ID 讓伺服器還原 context，仍在 preview），以及 Flex 約打五折、priority 兩倍價的 service tier。

原話

• “A normal developer should be able to just swap the model name and it works.”

  一般開發者應該只要換個模型名稱，就能直接用

  ▶ 02:13

• “And that's actually my favorite model.”

  那其實是我最喜歡的模型，指的是 Lyria Real Time

  ▶ 08:52

• “the longer you're prompt, the more interesting it's going to be”

  prompt 越長，結果越有意思

  ▶ 42:10

• “What's interesting with the Lyria model is that everything is managed in the prompt. You don't have parameters at all at the moment.”

  Lyria 的控制全在 prompt 裡，目前沒有任何參數

  ▶ 43:27

• “Well, you cannot just give it the text to read. You always have to start with read this text or something like that.”

  不能只把文字丟給它念，一定要先寫 read this text 之類的話；Guillaume 說這個坑讓自己前一晚白費 15 分鐘

  ▶ 50:13

延伸

• 有聽眾問 Interactions API 的 session 能保留多久，Guillaume 說大約兩天，但自己用得不多，不太確定。
• Nano Banana 2 的 image grounding 會上網找圖片當參考，適合建築與動物；Guillaume 說內部規則不少，例如建築物要夠老，否則有法律問題不能用。
• 沒有付費 API key 的人，可以把模型換成有免費額度的 Nano Banana 1，照樣跑圖片的部分。
• Guillaume 在 notebook 裡加了自動重試：美國醒來的那段時間 Nano Banana 2 可能過載，所以設成每兩秒重試、最多五次。