重新想想什麼叫最先進的模型

概要

• 排行榜不能只看一個Bertrand 拿影像編輯當例子，不同排行榜的名次不一樣，ELO 分數的範圍也不同。某個模型在一個榜上第一，不代表整體最好。
• 要看自己用的那個場景綜合分數是很多任務的平均，換成移除物件、改背景、編輯文字，每個任務的前幾名都不一樣。Bertrand 說沒有哪個模型能一直勝過其他所有模型。
• 樣本數與勝率都有限Bertrand 說這些榜單只建立在幾千筆樣本上，而且最強的模型也至少輸掉 40% 的對戰。碰上落在那 40% 的場景，選最強的模型反而選錯。
• 手動檢查與單一指標都會騙人現場舉手投票時，聽眾對三張圖的偏好不一致；自動指標方面，clip score 這類通用指標的排名一直在變，針對文字渲染設計的指標則一致得多。
• 品質是拿算力換來的Bertrand 算過，一次約 26k 場的影像評測要跑 20 天、約 5K 的成本。換成他們公司的模型，同樣規模只要 7 小時、$265。
• 用 Pareto 圖看效率把品質放在縱軸，延遲或價格放在橫軸，會看到好幾個同樣先進的模型，效率可以差到約 20 倍。

原話

• “It's not because CGPT image is ranked top one on one leaderboard that it means that it's the best overall.”

  不是因為 ChatGPT image 在某一個榜上排第一，就代表它整體最好

  ▶ 03:55

• “The idea is there is no model constantly outperforming the others and there are very different models working well for different target use case.”

  沒有任何模型能一直勝過其他模型，不同的目標場景各有不同的模型表現好

  ▶ 05:11

• “you will be super biased to your own preference.”

  你會非常偏向自己的喜好

  ▶ 09:09

• “people tend to just look at quality. But it's important not to look only at quality, but also at efficiency.”

  大家往往只看品質，但不能只看品質，也要看效率

  ▶ 14:13

• “you will usually not find a large foundational model, but more like a lot of small performance models that will be very good for your use case.”

  通常找到的不是大型基礎模型，而是許多適合你場景的小型高效模型

  ▶ 16:17

延伸

• 文字渲染那張 Pareto 圖上又快又在前緣的，是 Pruna 和 BFL 合作優化的 Flux2 flex 模型。
• Bertrand 用 Strava 換算耗能：20 天算力約等於跑 400 場馬拉松，換成他們的模型只要 4 場。
• 快取方法方面，他們的開源套件裡有一批演算法，另有只用在自家 endpoint 模型上的進階做法。