← 回到天際線 思考機器第 40 層 / 102

EP 1512021-01-041:28:46

逐字稿公司怎麼餵出自己的語音辨識引擎

Dan Kokotov

Rev.ai 工程副總談公司如何靠人工轉錄餵出語音辨識模型、為什麼不愛「零工經濟」這個說法,以及他從工程師轉任主管的心得。

Dan Kokotov: Speech Recognition with AI and Humans | Lex Fridman Podcast #151在 YouTube 看 ↗

重點6 條

  1. Rev 從改善 Upwork 開始:執行長 Jason 曾是 Upwork 的早期員工,看到自由工作者媒合平台的痛點,決定挑幾個能高度標準化的服務(先是翻譯,後來加上音訊轉錄),把流程砍到只剩「上傳檔案、等結果」。
  2. 語音辨識的目標是逼近人類水準:Dan 說 Rev 現在測試集上詞錯誤率大概 14%,目標是壓到人們認為人類轉錄大約能做到的 2% 到 3%。他認為關鍵在資料:公司的商業模式本身就是「收錢幫人標註資料」,等於自帶一個不斷轉動的飛輪。
  3. 從人工到平台:Rev 先是純人工轉錄,接著推出面向一般消費者的自動轉錄服務 Temi,再把 ASR 拿給自家轉錄員用,最後把辨識引擎包成 API(Rev.ai)開放給其他開發者,Dan 拿 AWS 提供基礎建設、看別人拿去蓋什麼東西來類比。
  4. Lex 吐槽大公司的工具與溝通:Mechanical Turk 的介面像 90 年代的產物、API 文件的範例只講一半;身為 YouTube 創作者,他也覺得平台聽不到創作者的聲音。Dan 補了一個對照:Apple 刻意維持小團隊,每個人都真的擁有自己做的東西。
  5. 管理是另一套成就感:Dan 說寫程式的回饋很直接,當上主管之後那種「今天完成了什麼」的感覺變得很間接,要透過每個人不同的方式去帶,他推薦《First Break All the Rules》這本書。
  6. 兩人也聊到 podcast 這個媒介:逐字稿能不能讓 podcast 內容變得可搜尋、可引用,以及聲音本身帶來的那種單向卻真實的連結感。

時間軸25 段

01 03:23
沙丘與童年電玩

Dan 說史上最好的科幻小說是《沙丘》,第二、第三是《沙丘之子》與《沙丘神帝》;他最喜歡第四部《沙丘神帝》的設定:主角化身巨大的沙蟲、以暴君之姿壓迫人民,為的是逼文明走出停滯。Lex 說小時候在俄羅斯玩過即時戰略版《沙丘》,Dan 說他 1991 年就離開俄羅斯,那時在俄羅斯能玩的差不多就是 Pong。

02 06:33
為什麼找他上節目

Lex 說明自己過去在 Upwork 外包字幕與轉錄常常很痛苦,發現 Rev 之後覺得省心,也提到音訊清理工具 iZotope RX 給他類似的體驗。

03 09:24
Rev 是什麼

rev.com 與 rev.ai 是同一家公司的兩個品牌,Dan 拿 WordPress.com 與 WordPress.org 的關係類比:一個面向一般用戶,一個是開放給開發者的技術品牌。

04 10:10
創業故事與選品邏輯

Rev 想改善 Upwork 的媒合經驗,執行長 Jason 曾是 Upwork 早期員工;他們刻意挑翻譯、後來加上轉錄這類容易標準化的服務,把介面簡化到只剩上傳與等待結果。

05 15:04
翻譯的個人插曲

Lex 說自己的俄語不夠好,想知道怎麼跟俄語來賓對談(像一位俄國數學家,還有他想訪問的普丁),打算先去巴黎拜訪杜斯妥也夫斯基與托爾斯泰的譯者;Dan 說父親寫詩也譯詩,曾把諾貝爾文學獎得主 Louise Glück 的一本詩集譯成俄文,也談到英俄兩種語言結構差很多,很難找到情緒上對等的字。

06 18:58
雙邊市場的平衡

Rev 是連結客戶與自由工作者的雙邊市場:人力不夠客戶要等更久,人力太多工作者搶不到單,這個平衡他們調了好幾年;Dan 也解釋他不喜歡用「零工經濟」形容這件事,覺得那個詞把工作講得很業餘。

07 22:18
誰在做這些轉錄工作

多數工作者在美國,背景很雜:在家工作的媽媽、學生、有社交焦慮不想進辦公室的人,也有原本事業有成、純粹想體驗這份工作的人;有些人單純因為能一邊聽內容一邊賺錢而喜歡這份工作。

08 25:12
轉錄怎麼運作

工作者登入後自己挑想做的音檔,用公司自製的編輯器先看 ASR 產生的草稿再修正;音檔品質好壞會直接影響草稿好不好用,遇到講者離得很遠、很多人插話的錄音,工作者可能乾脆從頭打。Dan 說音檔好的話,大概要音檔長度兩到三倍的時間。

09 28:03
什麼是 ASR

自動語音辨識是把語音轉成文字的機器學習任務;Dan 說 Rev 現在測試集上詞錯誤率大概 14%,一般認為人類程度大約落在 2% 到 3%,還有不小的差距。

10 30:22
跟同業比較、產品體驗

Dan 說他們拿自己組的測試集(podcast、影片、訪談、演講等)跟 Google、Amazon、微軟這些對手比,自認贏過對方。Lex 說他喜歡 Rev 拖放上傳這種無摩擦的設計,也用過 Dropbox 串接;Dan 補充另有第三方串接與 API 可用。

11 34:40
資料是關鍵,飛輪效應

Dan 認為 ASR 進步最終靠的是資料量與品質;Rev 的商業模式本身(客戶付錢請 Rev 修正逐字稿)就在源源不絕產生標註資料,他形容這是一種飛輪,而且公司理論上還握有轉錄員所有的修改紀錄可以再利用。

12 37:34
Rev.ai 的平台化

公司從純人工轉錄,到推出面向消費者的自動轉錄服務 Temi,再把 ASR 拿給自家轉錄員用,最後把辨識引擎包成 API 開放給其他人;Dan 拿 AWS 提供基礎建設、看別人拿去蓋什麼東西來類比 Rev.ai 現在的角色。

13 38:52
吐槽科技巨頭的工具

Lex 吐槽 Mechanical Turk 的介面像 90 年代做的;Dan 說 Rev 也有在用,難用但能動,而且多數人是透過 API 在用。Lex 接著批評 Google 等大公司的 API 文件:內容正確,但範例大概只講到一半的用法。

14 42:04
YouTube 對創作者的溝通問題

Lex 談自己身為 YouTube 創作者的挫折:像是一次上傳多支影片這種功能被要求了很久才做出來,感覺平台聽不到創作者的聲音。Dan 說後來才進公司的產品經理,任務只是把數字拉高 10%,不像親手做出產品的人那樣在乎;他舉 Apple 刻意維持小團隊為例,推薦 Apple 工程師 Ken Kocienda 寫的《Creative Selection》,書裡寫他做鍵盤與自動校正、拿 demo 給 Steve Jobs 審的經驗。

15 46:00
Rev 的願景

Dan 談希望把會議、對話這類語音內容變得跟筆記一樣好找、好分享片段,尤其是遠端工作之後,開會的內容更需要能被索引回顧。

16 47:16
podcast 難以搜尋

Lex 說 podcast 至今主要靠訂閱,搜尋與探索幾乎只能搜標題關鍵字;Dan 說自己常想回頭找某集推薦過的東西卻找不到,如果每集都有可搜尋的逐字稿,情況會完全不同。

17 49:04
自己做逐字稿的動機

Lex 說聽眾裡有不少研究生、記者想更嚴謹地回顧對話,因此決定投入資源做轉錄;也提到自己與 MMA 選手 Ryan Hall 聊「寬恕希特勒」這個話題,被媒體下了聳動標題的經驗:他說報導大致沒錯,但標題讓話聽起來嚴重得多。

18 53:16
逐字稿標準與獨家之爭

Dan 說有家 podcast 代管公司提議擴充 RSS 格式、用標準方式附上逐字稿;Lex 說那家公司希望節目由它代管,他更看重 RSS 讓各家播放器自由競爭的開放性。談到 Joe Rogan 拿 Spotify 一億美元簽獨家,Lex 說換成自己不會接,但也轉述 Rogan 說 Spotify 從不給他任何意見;相較之下,他覺得 YouTube 對大多數創作者並不在乎。

19 57:34
內容審查與平台責任

Lex 說 YouTube 很難判斷哪些陰謀論危險;Dan 反而更擔心審查過頭,覺得把自己放在仲裁者的位子很難,而會被影片說服的人,不會因為影片下架就回復理智。Lex 提到 Sam Harris 質問 Jack Dorsey 怎麼能不把時任總統 Trump 趕出 Twitter,並認為平台該用紅蘿蔔鼓勵大家友善一點,而不是靠審查。

20 1:01:13
短期指標 vs 長期價值

Lex 相信以使用者長期的幸福與成長當指標,公司反而賺更多;Dan 大致同意,但說那需要華爾街信任的耐心領導者,像 Steve Jobs、Elon Musk 那樣強到能跟董事會說「照我的做,不然我走」。Lex 也說這正是他考慮自己投入這個領域的原因之一。

21 1:04:05
從工程師變成管理者

Dan 回顧自己從個人貢獻者轉任主管的過程:寫程式的成就感很直接,當主管之後要透過別人的產出得到滿足。Lex 說他在 MIT 帶研究團隊時發現,有些人被嚴厲批評反而做得更好,有些人本來就很自責,只能一直鼓勵;Dan 同意每個人吃的回饋方式不一樣,說 Rev 帶人講究 manage by exception,也常請新手主管讀《First Break All the Rules》。

22 1:08:45
書單與電影:官僚的平庸之惡

書單聊到《沙丘》系列與《美麗新世界》(Aldous Huxley)裡描寫的基因化社會分層;也聊到電影《巴西》裡失能卻沒人挑戰的官僚體制,以及 HBO 影集《車諾比》呈現資訊層層上報失真、釀成災難的過程。

23 1:13:43
歷史裡的惡與研究普丁

Lex 說《惡棍特工》這類希特勒電影讓他反感,Dan 也不喜歡那種塔倫提諾式的風格化,但喜歡《史達林之死》拍出一群人只想活下去、最後犯下惡行的平庸感;Lex 覺得史達林比希特勒更值得拍,因為希特勒幾乎成了邪惡的漫畫版,史達林代表的卻是可能再發生的事。Lex 也提到史達林研究者 Stephen Kotkin,以及自己讀遍了找得到的普丁英文傳記,準備可能的訪談。

24 1:21:00
podcast 這個媒介與人的連結

Lex 談工程師 Chris Lattner 建議他拓寬來賓光譜、覆蓋各種極端立場,才換得到後面更細膩對話的空間。Lex 說自己當了 Joe Rogan 十年的單向朋友;Dan 說人類演化出對聲音的敏感,Twitter 卻把人化約成一串推文,很容易把對方想成惡意、去人性化。

25 1:25:05
人生意義

面對 Lex 常問的「人生意義是什麼」,Dan 說自己不常去想這個問題,覺得意義大概就在於為人類這個「活著、演化中的有機體」做出貢獻,包括創造東西與把孩子帶大。