用小型 VLM 評估 AI 影片品質

040Maor Bril（Character.ai）23:132026-07-25 上架

Evaling Video Slop — Maor Bril, Character.ai

影片生成越來越便宜，評估品質的方法卻沒跟上。Maor Bril 說明 Character.ai 怎麼把一整組評審蒸餾成小型 VLM、改用成對比較來訓練，再把評估放進生成流程裡。

這場講了什麼

• 生成進步了，評估沒跟上：跟片廠的價格比起來，影片生成幾乎免費，但大部分產出品質不好；現有的指標擅長看單格畫面，判斷不了故事有沒有講對，最後還是得靠人用眼睛看。
• 先做能重跑的評估基準：第一版把逐格指標與 LLM as a judge 湊在一起，再用人工標註回頭校正 judge 的 prompt。這套流程又慢又貴，放不進使用者的創作過程。
• 蒸餾成小型 VLM、提早檢查：Maor Bril 把這一整組評審蒸餾成一個小型 VLM，不只判斷是不是 slop，還要說出為什麼。評估越靠近生成越好，起始畫面或短片段一有漂移就先修，成本低得多。
• 不打分，改成比較兩支影片：每個人心中的 1 到 10 分都不一樣，但兩支影片擺在一起，大多數人會同意哪支故事講得比較好，所以訓練資料用 A 對 B 的成對形式。
• 第一版錯得很有自信：壞影片是自己製造的，模型學到的是 AI 影片的光澤，不是品質。改成真實影片對 AI 影片，並讓兩邊的編碼與標註方式一致，避免模型變成 AI 偵測器。
• 評估要放進生成迴圈：後來把複雜的 pipeline 換成 agentic workflow，讓 agent 用工具檢查並修正自己的輸出。Q&A 談到聲音、對嘴、人工標註、選哪個模型與規模的取捨。

影片從哪一段開始看16 段

1. 00:12生成與評估兩條軌道Maor Bril 在 Character.ai 待了兩年多；Kling、Seedance、Veo、Sora 讓生成進步很快，評估品質的方法卻被落在後面，多半還是人瞇著眼看。
2. 01:28生成免費，品質卻參差生成成本很低，但大多數影片會多出一條肢體、門同時開又關、東西飄在半空；長片也還是靠大量短片段加剪輯拼出來。
3. 02:17舊工具看不到故事CLIP score 判斷單格畫面符不符合 prompt，也有指標專門偵測影格之間的漂移，但都回答不了影片有沒有把想講的故事講出來。
4. 03:17影片該檢查哪些面向物理合不合理、角色跨鏡頭是否一致、節奏自不自然、聲音有沒有對上畫面，這些才是要評的軸。
5. 03:56LLM as a judge 與第一版基準拿大模型當評審很慢，結果又取決於 prompt；所以先建一套能一再重跑的基準，並用人工標註回頭校正 judge。
6. 05:23評估要往前移這套流程又慢又貴，得搬到使用者面前、搬到流程前段；越早抓到起始畫面的角色漂移，修起來越便宜，長片則先重生漂掉的六秒片段再組合。
7. 07:49蒸餾成小型 VLM把一組專家式評審蒸餾成一個小模型，要回答影片為什麼分數低；用 VLM 是因為要看得到畫面，現在大約三秒就能評完一支 15 秒的影片。
8. 09:12不打分，改比較不同人給的 1 到 10 分落差很大，但比較兩支影片的結果一致得多，所以改用 A 對 B 的成對資料訓練。
9. 10:15製造壞影片與 V1 失敗壞影片靠破壞好影片或隨便生成來取得；V1 上線後錯得很有自信，鏡頭四秒沒動，運鏡卻拿到 9.2 分，飄浮的鬼魂也被說物理很棒。問題出在資料：模型評的是氛圍，不是各個軸。
10. 11:59修資料集：真實對 AI改成真實影片對 AI 影片。一開始不這樣做，就是怕模型變成 AI 偵測器，所以兩邊的編碼與標註方式都要一致。
11. 13:04改成 agentic workflow 與三點收穫pipeline 只適合很單一的用途，使用者各有想講的故事，所以改用能自己驗證並修正輸出的 agent。三點收穫：比相對不比絕對、評你真正在意的軸、把評估放進生成迴圈。
12. 15:24Q&A：聲音與對嘴聲音先確認音質夠好、聽得懂，再讓模型找出關鍵影格、對上那個時間點的聲音尖峰；Maor Bril 說對嘴還沒解決，有些角色是說話動畫，嘴型本來就跟聲音沒有對應。
13. 17:54Q&A：品味與人工標註有聽眾問品味與人工評估；團隊會定期安排每人花 10 到 15 分鐘標註影片，用來校正 AI judge，這些資料也成為下一版模型的訓練資料。
14. 19:39Q&A：為何選 Qwen目標是找一個夠小的模型；選 Qwen 是因為之前在其他用途上後訓練它的經驗不錯，其他幾個也試過，但這個夠用。
15. 20:11Q&A：規模與單位成本自己訓練小模型換來的是速度，以及服務量可以從一個實例開到 100 個；不訓練、直接用那組專家式評審也行，取捨在單位成本。
16. 22:11Q&A：開源 harness公開的 repo 是一套 harness，可以接任何 agent 或 LLM；公司內部另有一版以服務形式運行，上面再疊一層 agentic harness 與各項在意的指標。

值得記的話5 句

• So the hard part was never how to make video. The hard part was how do we generate good enough video, and how do we judge if the video is good enough.難的從來不是做出影片，難的是怎麼生出夠好的影片，以及怎麼判斷影片夠不夠好01:12

• The other very interesting realization we came to is don't score compare.我們另一個很有意思的體悟是：不要打分數，要比較09:12

• It was wrong, but it was wrong in a very confident way.它錯了，而且錯得非常有自信10:31

• Don't expect them to miraculously appear.別指望那些軸會自己神奇地冒出來14:22

• If you do it for thousands or tens of thousands per day, it adds up.如果一天要評幾千、幾萬支，成本就會累積起來21:38

名詞與人物9 個

AI slop

品質差、有幻覺的 AI 生成影片，例如多出肢體、物理不合理

CLIP score

既有的單格指標，判斷單一畫面符不符合生成它的 prompt

LLM as a judge

拿大模型當評審；Maor Bril 說它慢、又只跟 prompt 一樣好，需要人工標註校正

專家式評審

第一版那組逐格指標加 LLM judge 的評審組合，後來被蒸餾成小型 VLM

VLM

視覺語言模型，能直接看畫面；這場拿小型 VLM 來蒸餾評審、快速評分

pairwise 訓練（A 對 B）

讓模型判斷兩支影片哪支比較好，取代 1 到 10 分的絕對評分

Qwen

Maor Bril 選來做小型 VLM 的基礎模型

agentic workflow

取代原本 pipeline 的作法，agent 用工具檢查自己的輸出、邊做邊修

harness

公開 repo 裡的評估框架，可以接任何 agent 或 LLM

提到但沒有展開

• 蒸餾時也試過更大的模型，結果比較好，但多出來的價值抵不過變慢的代價。
• 聲音對齊的作法：如果 prompt 寫的是門被甩上，模型會先找出門甩上的那一格，例如第 6 格，再到那一格的時間點找聲音的尖峰。
• 換成更強的大模型當評審，結果也許更好，但一兩支沒關係，一天評幾千、幾萬支就要算單位經濟。

評估模型Agent

在 YouTube 看原片 ↗