用 AI 取代攝影機 · No Priors 筆記

069 · 用 AI 取代攝影機

27:26YouTube 上架 2024-06-20Joshua Xu（HeyGen CEO）

No Priors Ep. 69 | With HeyGen CEO and Co-Founder Joshua Xu

Joshua Xu 從 Snap 的 AI 相機經驗談起 HeyGen：為什麼先做 avatar、為什麼不走端到端生成影片、品質門檻怎麼抓，以及全身 avatar、即時串流與個人化影片的下一步。

069 講了什麼

從 Snap 的濾鏡看到可能Joshua Xu 在 Snap 先做廣告的機器學習，最後兩年做 AI 相機。2018 年看到寶寶濾鏡與 Disney 風格濾鏡，覺得 AI 可以生成現實裡不存在的東西，也就有了「AI 取代相機」的想法。
先拆掉最貴的那一塊Joshua 說影片製作可以拆成拍攝與剪輯，剪輯是標準化服務、不算貴，拍攝才貴。HeyGen 因此從 avatar 下手，取代鏡頭前的真人。
不走端到端生成，改拆成零件Joshua 說企業要的是品質、可控與一致。HeyGen 把影片拆成 A-roll（avatar）與 B-roll（旁白、音樂、轉場等），各自處理，再用自己的 orchestration engine 組起來；Sora 在這個架構裡是可以接進來的零件。
品質有一條看不見的線Joshua 用 90 分當比方，低於門檻客戶就無法用它取代原本的製作流程。目前的 avatar 在線上，下一步是全身 avatar 與串流 avatar。
安全寫進每一步HeyGen 不允許政治與選舉內容，並用使用者驗證、即時影片同意、動態口說密碼與快速人工審查把關。
影片可能不再是固定檔案Joshua 說兩年內非同步的 avatar 流程變成能即時串流並不誇張，大約五年後整支影片也能即時生成，依觀看者的屬性長出不同內容。

從哪一段開始看16 段

00:05開場玩笑Sarah 歡迎 Joshua，接著是一段假裝走錯節目、變成健康科普節目的玩笑，再回到正題請 Joshua 講創辦故事。
01:09從 Snap 到 HeyGenJoshua 在 Snap 待了約六年半，先做廣告排序與推薦，最後兩年做 AI 相機；公司成立大約三年半，使命是讓視覺敘事人人做得到。很多人用相機拍不出好內容，取代相機就是拿掉創作的門檻。
03:28為什麼從 avatar 開始影片製作拆成拍攝與剪輯，剪輯不貴、拍攝很貴。Joshua 舉 CEO 錄影要提前兩週排攝影團隊，兩分鐘的片有時要錄 20 分鐘。
04:33往哪裡發展Joshua 說現在處理的是內容創作的入口，之後可以串起生成的素材與 AI 剪輯；效能再提升，還可能用串流的方式生成影片，取代一部分即時對話。
05:56三種主要用途create、localize、personalize。產品影片、教學與銷售培訓最合適，既有影片可翻成超過 175 種語言與方言；也談到 McDonald's 讓人用不同語言傳訊息給家人的活動。
07:35品質夠不夠好Joshua 說品質一直是第一優先，用 90 分的門檻比喻：低於它就無法取代客戶原本的流程，目前 avatar 在線上，但全身 avatar 等還有進步空間。
08:53全身與串流 avatar過去 avatar 只做上半身，手勢與肢體動作很難，但學界研究已證明可行；串流 avatar 搭配 GPT-4o，文字、語音與 avatar 可以即時互動。主持人追問客戶要不要全身，Joshua 說教學類品質需求較低、廣告類最高，全身會讓行銷與銷售用途更有說服力。
11:15技術堆疊文字用 OpenAI，也是內部 orchestration engine 的大腦；語音和 OpenAI、ElevenLabs 合作；影片這層自己做。全身生成的難題是把語音和手勢接起來，得把語音模型與影片模型一起訓練。
12:53和 Sora 的路線差異一條路是端到端生成整支影片，HeyGen 選的是拆成 A-roll 與 B-roll 逐項處理；logo 與字體需要很準，也要學客戶的品牌風格。Joshua 把 Sora 視為夥伴、可接進來當零件。
15:03研究怎麼選題學界、客戶問題都看，重點是理解模型的限制，把產品設計成避開限制、放大長處。影片翻譯就是把 lip sync 模型、語音與翻譯組在一起。
16:38深偽與選舉安全主持人問濫用風險。Joshua 說不允許政治與選舉內容，並列出驗證與審查機制，安全是在創作的每一步設計進去的。
18:42影片用法會怎麼變Joshua 說瓶頸是影片太貴、要做上幾週到幾個月；成本降下來，企業會做更多影片，也有客戶拿來做以前做不到的新用途。
20:04即時與影片新格式即時 avatar 現在就有，可當 AI SDR 或客服；Joshua 說兩年內非同步流程變即時並不誇張，五年左右整支影片可能即時生成，影片從固定的 mp4 變成依觀看者屬性生成的新格式。
22:44個人化的例子主持人談個人化教育。Joshua 舉某集團客戶為全球員工各自製作的感謝影片，有在地語言、有員工姓名，以前只能一支影片寄給所有人。
24:04研究上最難的事影片生成不只是解數學題，美感也要放進模型，成本函數低不代表畫面更好。評估得靠產品內的訊號，再把資料回饋給訓練；Joshua 說這和在 Snap 做相機的經驗類似。
26:12公司規模與客戶團隊略多於 40 人，有超過 40,000 位付費客戶；客戶不是典型 AI 早期採用者，從歐洲製造商、小企業到全球非營利組織與 Fortune 500 都有。

值得記的話5 句

anything below 90 essentially is unusable for the customers低於 90 分，客戶基本上就沒辦法用08:07
we actually see Sora as our partner我們其實把 Sora 當成夥伴14:32
we do not allow any political or um election content on our platform today我們目前的平台不允許任何政治或選舉內容16:54
generative image is still image but generative video is not a video it is a new format生成式圖像還是圖像，但生成式影片不是影片，而是新格式21:08
higher resolution doesn't mean it's a better image quality for customers更高解析度不代表客戶看到的畫質更好25:41

名詞與人物10 個

Joshua Xu: HeyGen 共同創辦人兼 CEO，本集來賓，曾在 Snap 工作。
HeyGen: 用 avatar 取代拍攝、做影片生成與翻譯的公司，使命是讓視覺敘事人人做得到。
Snap: Joshua 的前東家，在那裡從廣告機器學習轉做 AI 相機。
avatar: 取代鏡頭前真人的數位角色；用戶可選現成角色，或做自己的 digital twin。
digital twin: 使用者自己的數位分身，可輸入腳本生成影片。
A-roll / B-roll: Joshua 的拆法：A-roll 是 avatar，B-roll 是旁白、音樂、轉場等其他元素。
orchestration engine: HeyGen 內部把各個零件組成最終影片的系統，以 OpenAI 的模型為大腦。
Sora: 端到端生成影片的模型；Joshua 說在 HeyGen 的架構裡是可接入的零件。
影片翻譯: 保留使用者原本的聲音與表情，底層是 lip sync 模型加上語音與翻譯。
串流 avatar: 搭配 GPT-4o 等模型、能即時互動的 avatar。

提到但沒有展開

Joshua 拿 iPhone 說明「分數高不等於好看」：iPhone 的解析度不見得永遠最高，拍出來的照片卻是多數人喜歡的。
主持人提到這項技術正面的用法：參選人可以寄給每位選民一段談對方關心議題的個人化短片，前提是避開深偽那一面。

在 YouTube 看原片 ↗

HeyGen