不只轉錄，讓語音 AI 聽懂對話

概要

• 「誰說了什麼」常和內容一樣重要Hervé 舉影片自動配音、會議記錄、跨集追蹤 podcast 來賓為例，說明少了說話者資訊，這些應用都做不起來。
• 時間點與說話方式也是資訊打斷、簡短的附和、停頓、笑、咳嗽、重音，都會改變一段話的意思，Hervé 認為語音 AI 應該把這些細節交給下游的 LLM。
• 說話者分離至今沒解決事先不知道有幾個人、系統只輸出「說話者一、二、三」而不是名字、還有重疊說話與極短發言，讓問題很難。Hervé 提到最好的系統在餐廳多人聊天的場景仍有 41% 的 diarization error rate。
• 轉錄模型多半只看過單人語音Hervé 展示 NVIDIA Parakeet 在排行榜上是 11.4% 字錯率，在 AMI 的桌面麥克風錄音上他們量到 26%。
• 難點在對齊轉錄和分離的時間戳不一致，重疊說話也轉不好，所以把兩邊結果合起來並不像看起來那麼簡單。現場用 Python notebook 示範他們的 STT orchestration 如何處理。

原話

• “there are many cases where knowing who said what is as important as what was said actually”

  很多情況下，知道誰說了什麼和說了什麼一樣重要

  ▶ 03:11

• “this is the kind of small speech turn that you don't want to miss because sometimes they actually convey the most important information of the conversation”

  這種很短的發言不能漏掉，因為有時它們傳達的正是對話裡最重要的資訊

  ▶ 09:41

• “even though the community has been working on this topic for a long time now, it's still not solved”

  雖然社群已經做了很久，這個問題仍然沒有解決

  ▶ 11:41

• “most speech-to-text models are actually trained on single-speaker data”

  多數語音轉文字模型其實是用單人資料訓練的

  ▶ 17:12

• “it's supposed to work with any STT, even fine-tune ones that you might have internally”

  它設計成可以搭配任何語音轉文字模型，連你們內部微調過的也行

  ▶ 24:26

延伸

• Hervé 說 pyannote 的 GitHub star 在 Whisper 開源後明顯轉折，現在快要一萬顆。
• 重音的例子是「the dog ate the cake」：孩子把重音放在不同的字上，意思就不一樣，所以這類細節也該交給下游。
• 轉錄在多人錄音上出錯，Hervé 另外列了遠距麥克風、換人、搶話、打斷，以及一句話中途換語言。