算力吃緊時，先把資料變好

070Ari Morcos（DatologyAI）19:052026-07-31 上架

Data Quality Is the Compute Multiplier — Ari Morcos, DatologyAI

Ari Morcos 替資料品質分項開場，拿視覺語言模型、多語文字模型與兩個客戶案例，說明資料策展怎麼換到像是多出好幾倍算力的效果。

這場講了什麼

• 算力越來越緊：H100 價格從去年底的低點回升約 40%；推理模型用的 token 是非推理模型的 8 倍，預計一年左右再翻 5 倍。算力不夠的時候，Ari Morcos 的答案是去改資料。
• 資料品質是算力乘數：好資料讓學習曲線變陡，同樣的預算換到更好的表現，或用小得多的預算做到同樣的表現。DatologyAI 的做法是四個 C：clean、curate、create、compose，其中 create 就是用 rephrasing 產生合成資料。
• 視覺語言模型與多語模型：只改資料，VLM 在其他條件不變下進步約 14 個百分點，還用少 145 倍的訓練算力接近一款 Qwen 3.5 模型。多語 MMLU 一樣越過 Pareto frontier，而多語 token 只占訓練資料的 8%。
• 用小模型預測大模型：兩個以 1 trillion tokens 訓練的小模型連成的線，幾乎直接穿過客戶 Arcee 的 Trinity Large，後者的訓練算力多 50 倍。所以正式開跑前，可以先用少 50 到 100 倍的算力試水溫。
• 領域適配不必犧牲通用能力：替 Thomson Reuters 在開源模型上做 100 billion tokens 的 mid-training，LegalBench 提升約 5 個百分點，通用能力也跟著上升；同一套 post-training 帶來的增益幾乎變成 3 倍。
• 客製模型沒那麼貴：Arcee 連薪水、算力、研發全部算進去，不到 $20 million 就做出跟開放前沿模型有得比的模型。Ari Morcos 說窄領域的模型只要高六位數到一百萬美元。

影片從哪一段開始看14 段

1. 00:13開場與自我介紹Ari Morcos 是 DatologyAI 的 CEO 與共同創辦人，替資料品質分項開場，主題是大家都忽略的算力乘數。
2. 00:43算力越來越稀缺H100 價格回升、推理模型的 token 用量暴增；Ari Morcos 舉 Google 限制 Meta 的 Gemini 用量、OpenAI 等於在賣 token 期貨，說前沿 API 有一天可能會被限量。
3. 02:02為什麼資料是乘數用學習曲線示意圖說明：資料品質讓曲線變陡，同樣預算換到更好的表現，像是多花了 10 倍算力。
4. 02:51每個 token 的訊號目標是讓每個資料點帶來最大的邊際資訊增益；沒有一份萬用的黃金資料集，資料要貼合任務、夠多元，配比也要對。
5. 03:56四個 C不採購新 token，而是把現有資料變好：清理與去污染、策展、用 rephrasing 做合成資料、組合並安排到各個訓練階段。
6. 06:04研究基礎團隊約一半是研究員；Ari Morcos 在 Meta 寫的 Beyond Neural Scaling Laws 指出，選對資料可以改變 scaling law 的指數。
7. 06:50視覺語言模型策展約 25 billion tokens 的 mammoth 資料集，沒做 post-training 就越過公開 VLM 的 Pareto frontier，比原始資料進步約 14 個百分點，回答也更精簡，每個正確答案的推論算力比 Qwen 3.5 少 35 倍。
8. 09:14多語文字模型網路對世界的呈現很偏，非英語用起來差；策展後的多語模型只用 8% 多語 token，就比 Qwen3 好一點，算力預算約少 8 倍。
9. 10:34小模型預測大模型兩個 1 trillion tokens 的 dense 小模型連成的線，幾乎穿過算力多 50 倍的 Trinity Large，代表大規模訓練前可以先低成本試跑。
10. 11:19跨語言遷移只策展英文資料也會讓非英語變好，遷移幅度跟該語言和英文的相似度高度相關；反過來也成立，只是效果小一點。
11. 12:05合成資料：rephrasing把文件改寫成數百種模板之一（例如是非題）；資訊都來自原文件，所以沒有 model collapse 的問題。關鍵是先挑出高品質文件再改寫。
12. 13:52Thomson Reuters 案例在開源模型上做 100 billion tokens 的 mid-training，不到 pre-training 預算的 1%；法律能力上升，沒有災難性遺忘，後續 post-training 的增益幾乎變成 3 倍。
13. 16:17Arcee 的 Trinity Large17 trillion tokens 全部來自策展過的公開資料、沒用封閉模型，做出完全開放的美國製模型，在許多任務上追平 GLM-5 與 Kimi；總花費不到 $20 million。
14. 17:48總結重要的是每個 token 的訊號，不是 token 數量；資料品質是最沒被善用的算力乘數，背後是要擴到 petabyte 規模的工程與研究問題。

值得記的話5 句

• Data quality is a compute multiplier because what it does is it makes the learning curve steeper.資料品質是算力乘數，因為它讓學習曲線變得更陡02:02

• there's no one golden data set to rule them all that's good for everything.不存在一份對所有事都好的黃金資料集03:08

• Showing your model better domain-specific data can actually make post-training two to three times more effective out of the box.給模型看更好的領域資料，可以讓 post-training 直接有效兩到三倍15:42

• It is almost always better to repeat high quality data than it is to show low quality data at a certain point up to a threshold.到某個門檻為止，重複高品質資料幾乎總是比餵低品質資料好17:48

• This data quality remains the single most under leveraged compute multiplier.資料品質仍是最沒被善用的算力乘數18:03

名詞與人物10 個

DatologyAI

Ari Morcos 共同創辦的公司，自比資料的煉油廠：不採購新 token，而是把現有資料變好

clean, curate, create, compose

DatologyAI 的四個步驟：清理、策展、做合成資料、組合與安排順序

Beyond Neural Scaling Laws

Ari Morcos 在 Meta 寫的論文，拿過 NeurIPS 最佳論文，指出選對資料可以改變 scaling law 的指數

benchmark decontamination

用很低的 n-gram 門檻，把訓練資料裡跟下游 benchmark 重疊的內容去掉

rephrasing

DatologyAI 的合成資料做法：把高品質文件改寫成多種格式，Ari Morcos 稱之為進階版的資料擴增

Beyond Web

DatologyAI 的合成資料平台，目標是能套用在任何人的專有文件上

mid-training

介於 pre-training 與 post-training 之間的持續訓練，Thomson Reuters 案例用了 100 billion tokens

Thomson Reuters

客戶，有自己的高品質法律資料，post-training 的基礎設施也很成熟

Arcee

客戶，去年年中開始合作之前沒有自己訓練過模型

Trinity Large

Arcee 以 17 trillion tokens 訓練的 hyper-sparse MoE，完全開放的美國製模型

提到但沒有展開

• Ari Morcos 說資料策展幾乎沒有公開發表的研究，因為這是建模流程裡太關鍵的一段，大家都沒有分享的誘因。
• rephrasing 的改寫模型不必懂所有概念，只要把文件準確轉成另一種格式，所以訓練出來的模型可以比改寫模型本身更強。
• Ari Morcos 認為 pre-training、mid-training、post-training 不該當成三段各自交棒的工作，要放在一起設計。

模型研究開源

在 YouTube 看原片 ↗