Base model 不再只是網路知識庫

077Varun Singh（Arcee AI）17:442026-07-31 上架

The Base Model Is Dead — Varun Singh, Arcee AI

Arcee AI 的 pre-training 負責人 Varun Singh 拿幾份公開論文的資料配方對照，說明 RL 成為主角之後，base model 從人類知識的縮影，變成替推理與 agent 行為打底的先驗。

這場講了什麼

• 舊式 base model 靠網頁文字：GPT-3 與 Llama 3 的訓練資料以網頁文字為大宗；當時 post-training 主要是讓模型學會聊天格式，RL 只是錦上添花。
• 推理模型讓 RL 變成主力：o1 與 DeepSeek R1 之後，RL 能大幅拉高模型在各種任務上的表現。Varun 因此問：標準的 base model 還是不是大規模 RL 最好的起點。
• 公開論文裡兩派並存：MAI Thinking One 堅持不用合成資料，網頁文字的比例照樣大降；Nemotron 3 Ultra 則把問答型的 post-training 資料拉進 pre-training。
• 提早放 post-training 資料的兩個理由：合成資料能把 token 改寫、清乾淨，做成像 instruct 或 agent 任務的形狀；MoE 若在 pre-training 沒看過 post-training 的資料分佈，到 SFT 會嚴重負載失衡。
• 訓練階段的界線變模糊：Varun 主張與其分 pre-training、mid-training、post-training、RL，不如看成 next token prediction 與 RL 兩種範式，監督式學習是在替 RL 準備有用的表徵。
• 結論是換一種先驗：base model 從一般的人類知識與世界先驗，轉向推理與 agent 行為的先驗；將來出現新的使用方式，base model 就該替那個方式打底。

影片從哪一段開始看14 段

1. 00:12題目與背景Varun 是 Arcee AI 的 pre-training 負責人，題目是「base model 死了，但也沒真的死」；傳統的 base model 建立在大規模網頁文字上，是整個人類網路知識的倒影。
2. 02:07舊式資料配方GPT-3 以 Common Crawl 為主，加上 WebText 2、書籍與 Wikipedia，網頁文字約佔整份配方的 85%；Llama 3 也有約 50% 的 token 屬於一般知識。
3. 02:56舊式 post-training當時 post-training 主要是讓模型適應 chat template 與問答格式，把 pre-training 累積的知識叫出來；RL 只是調整互動的風味，pre-training 才是算力大宗與核心。
4. 04:02o1 與 R1 帶來轉折OpenAI 推出 o1 開啟推理模型，DeepSeek 在 2025 年 1 月釋出 R1；同一年稍晚 Claude Code 出現，大家發現可以端到端做 RL，讓模型學會操作軟體環境。
5. 05:28該用什麼當先驗RL 成為主力之後，標準 base model 還是不是最好的起點？Varun 從公開論文看，趨勢還不明朗，自己傾向合成資料。
6. 06:17MAI Thinking One 的配方這份報告刻意不用合成資料或其他模型產生的資料，但網頁文字從 GPT-3 時代的 85% 降到 15%，讓位給程式碼與 STEM。
7. 07:40Nemotron 3 Ultra 的配方另一派把 post-training 資料與大規模合成資料拉回 pre-training，讓模型一開始就看到對話與下游任務的樣子，網頁文字同樣變少；GPT-3 當年連專門的程式碼資料集都沒有，現在程式碼是 pre-training 配方裡最大的子集。
8. 09:37合成資料怎麼用外界擔心亂灌合成資料會讓模型崩壞，但已有成功的大規模例子：自家的 Trinity 用改寫大量擴增種子資料，Kimi K2 也在整份 pre-training 資料裡這樣做。
9. 11:16MoE 的負載平衡MoE 在 pre-training 沒看過 post-training 的資料分佈，到 SFT 會嚴重失衡；MAI 的解法是在 SFT 階段大幅調高負載平衡係數，Varun 認為最好別拖到那麼後面才動。
10. 12:34mid-trainingmid-training 讓模型提早接觸 post-training 與 RL 的分佈，並拉長上下文以容納 agent 軌跡；Varun 說很多模型 pre-training 就用長上下文，這些資料沒理由不能更早放進去。
11. 13:24兩種範式與算力配置訓練可以看成 next token prediction 與 RL 兩種範式；Xiaomi MIMO Labs 負責人在訪談裡說 pre-training 與 post-training 的算力大致相當，Composer 2.5 則把遠多於監督式學習的算力投進 RL。
12. 14:45監督式學習為 RL 打底Varun 引的一篇論文指出，base model 要先接觸過 RL 時要組合的原子技能，環境夠難時就能從那裡外推；AlphaGo 那張圖裡 RL 最後超越監督式學習，語言模型會不會這樣還不確定。
13. 15:32引入新穎資料有些實驗室在監督式學習階段放進模型沒看過形狀的資料，例如 reasoning trace，或在 SFT 甚至 pre-training 就讓模型先熟悉 test-time compute 的做法，Zyphra 的論文是一例。
14. 16:38結論base model 已從一般人類知識與世界先驗，轉向推理與 agent 行為的先驗；若出現新的互動方式，就該替它建立先驗，而不是只靠大量爬網頁。

值得記的話5 句

• Pre-training and the base model kind of defined how good you were able to get a model.pre-training 與 base model 大致決定了一個模型能做到多好03:42

• which used to make up to 85% of the trained data in GBT3, is now all the way down at 15%.指網頁文字：在 GPT-3 曾佔訓練資料多達 85%，現在一路降到 15%07:08

• the data distribution that the model sees in post-training is really, really different compared to what it sees in pre-training.模型在 post-training 看到的資料分佈，跟 pre-training 看到的差非常多12:03

• supervised learning as a way specifically to prepare the model to build useful representations for RL把監督式學習當成專門替 RL 準備有用表徵的手段14:27

• Base models have kind of moved from general human knowledge and world priors to reasoning and agentic behavior priors.base model 已從一般的人類知識與世界先驗，轉向推理與 agent 行為的先驗16:38

名詞與人物9 個

base model

靠 next token prediction 訓練出來、還沒做 post-training 的模型，這場談它的角色怎麼變

mid-training

介於 pre-training 與 post-training 之間，讓模型提早接觸 RL 會遇到的資料分佈與長上下文

MAI Thinking One

Varun 引用的報告，刻意不用合成資料或其他模型的資料，網頁文字佔比降到 15%

Nemotron 3 Ultra

Varun 引用的另一份資料配方，把 SFT 型的問答資料放進 pre-training

Trinity

Arcee AI 自家的模型，pre-training 用了網頁規模的合成資料，主要靠改寫

rephrasing

合成資料的一種做法，把種子資料換不同說法重寫，讓模型從多種角度看到同一份資訊

SwallowCode / SwallowMath

一篇論文產出的資料集，Varun 舉它們當合成資料的早期例子

Kimi K2

規模更大的模型，在整份 pre-training 資料裡廣泛用改寫產生的合成資料

Composer 2.5

Varun 說它投進 RL 的算力遠多於監督式學習，是這個方向的極端例子

提到但沒有展開

• 開場拿 GLM-4.5 與 GLM-5 的訓練流程圖說明：各家流程都有 pre-training 階段，模型在那裡靠 next token prediction 累積世界知識、建立表徵。
• reasoning trace 之所以算「新穎資料」，是因為它跟人類平常寫出來的東西不太像；Varun 覺得 Zyphra 那篇論文的做法，是在想資料怎麼影響 RL 裡探索所需的技能。

模型研究

在 YouTube 看原片 ↗