從 Galactica 走向長視野強化學習

076Ross Taylor & Chengxi Taylor（General Reasoning）18:072026-07-31 上架

Scaling to Long Horizons — Ross Taylor & Chengxi Taylor, General Reasoning

Ross 回顧 Galactica 與 Meta 時期的推理強化學習嘗試，Chengxi 接著談長任務要面對的 context、梯度、算力與環境問題。

這場講了什麼

• 好的 base model 不夠：Ross 拿 Galactica 和 ChatGPT 對照，兩者都有不錯的 base model，差別在 ChatGPT 多了 RLHF 流程，這一步才讓 LLM 成為產品。
• Galactica 有幾個超前的做法：Ross 說它用 105 billion token 的精選語料、做多 epoch 訓練，並把思考放進標籤裡，讓模型先花推論算力再給答案。
• Meta 時期的配方與缺口：Ross 的團隊在 Llama 2 上做過數學與科學資料的持續預訓練，加上帶可驗證獎勵的 PPO，內部在數學與推理拿到 state-of-the-art，卻沒有出現後來 R1 與 o1 那種反思行為。Ross 事後的結論是更好的 base model、更多 RL 算力與更大的 context window。
• 長任務的三個優化難題：Chengxi 指出梯度變異數會隨長度增加、獎勵稀疏有 credit assignment 問題、軌跡長度不一；解法之一是用 critic（value model），代價是要多訓練一個模型。
• 算力與推論的取捨：pipeline RL 讓訓練和生成同時進行，換來 off-policy；但推論拉長到數週時一定超過 8 步的容許範圍，GPU 只能閒著等，改用 value model 做 bootstrapping 又會帶來偏差。
• Kelly Bench 與環境平台：General Reasoning 讓 agent 自己建機器學習模型，在一年的時間尺度上下注英超比賽，各家前沿模型拿到 100k 起始資金全都賠錢。另有 OpenReward 平台，以單一 API 端點提供超過 350 個環境。

影片從哪一段開始看15 段

1. 00:12自我介紹與背景Ross 是 General Reasoning（GR）的 CEO，曾是 Meta AI 的 reasoning lead。原本的 Papers with Code 團隊 2019 年是倫敦的新創，同年被 Meta 收購，後來做了 Galactica，ChatGPT 出來後接手 Llama 2、Llama 3 的 post-training。
2. 02:07Galactica 對照 ChatGPT兩者相隔兩週、都有不錯的 base model，差別在 RLHF；Ross 引 InstructGPT 的結果，1 billion 參數加 RLHF 贏過 175 billion 的模型。
3. 04:07Galactica 的風波與成績demo 上線後引起恐慌，但在科學領域的比較中，Galactica 用少得多的算力勝過 PaLM、Chinchilla、GPT-3.5。
4. 05:12資料效率與思考標籤精選語料、多 epoch 訓練，以及把內部思考放進標籤、先花推論算力再答題的做法。
5. 06:27Meta 時期的推理配方在 Llama 2 上持續預訓練數學科學資料，再用帶可驗證獎勵的 PPO，並以強的 outcome reward model 初始化 value model。當時 context 只有 4,000，內部仍拿到數學與推理的 state-of-the-art，但沒有推論時擴展。
6. 07:58為什麼少了那一步Ross 認為關鍵是更好的 base model、更多 RL 算力與更大的 context，並以此談研究的社會學：OpenAI 比別人早有 GPT-4 等級的模型，所以看得更遠。
7. 09:20長視野是一種心態Chengxi 接手，主張長任務不只是工程問題；以費馬最後定理為例，說明 context window 相對於人類思考量太小。
8. 10:24Compaction生成到 context 末端就摘要，再接著生成；RL 可以同時作用在摘要與任務上。
9. 10:56三個難題與 critic梯度變異數、稀疏獎勵與 credit assignment、軌跡長度不一；用 value model 降低變異，但要多訓練一個模型。
10. 11:46補足 context 的工具檔案系統工具像草稿紙，自我搜尋工具可以回查先前軌跡；auto research 這類情境還有 archive 工具；其他情境則要防 AI 不經思考直接抓先前的答案。
11. 12:24Kelly Bench讓 agent 建機器學習模型、在一年的時間尺度上下注英超比賽；跟 Kaggle 競賽不同，這有真金白銀的後果。結果各家前沿模型都賠錢。
12. 13:38產業偏重 codingChengxi 認為 AI 界太偏向 coding 與程序式任務：任務多半寫成「做這個、修那個」，解法通常只有一兩種。開放式任務不夠多，也缺少對真實世界裡其他參與者的模擬。
13. 14:33Pipeline RL 的取捨邊生成邊訓練以換取 GPU 使用率，代價是 off-policy；經驗上 off-policy 到 8 步還可以，但推論一拉到數週就一定超過，GPU 只能閒置等待。
14. 15:54用 value model 做 bootstrapping在回合結束前就產生期望值來訓練，GPU 能用滿，但會引入 value model 的偏差。
15. 16:25OpenReward 平台長視野下環境的基礎建設很重要，OpenReward 以單一 API 端點提供超過 350 個環境，General Reasoning 自己的 RL 用它，也有一些前沿實驗室與新實驗室在用。

值得記的話5 句

• A good base model is not enough.好的 base model 不夠03:00

• Galactica was the first LLM to really crack data efficiency.Galactica 是第一個真正解決資料效率的 LLM05:12

• better based models, more RL computes, bigger context windows更好的 base model、更多 RL 算力、更大的 context window08:13

• long horizon task is not just an engineering problem. It is a mindset.長視野任務不只是工程問題，而是一種心態09:20

• we gave all the frontier models 100k to start, all of them lost money我們給每個前沿模型 100k 起始資金，全都賠錢13:18

名詞與人物10 個

General Reasoning（GR）

Ross 與 Chengxi 的公司，位於倫敦的強化學習公司；Ross 是 CEO，Chengxi 是共同創辦人兼 president

Papers with Code

Ross 原本的團隊，2019 年在倫敦的新創，同年被 Meta 收購

Galactica

Ross 在 Meta 時期參與的語言模型，比 ChatGPT 早兩週釋出，在科學領域勝過 PaLM、Chinchilla、GPT-3.5

InstructGPT

Ross 引的 2022 年結果：1 billion 參數加 RLHF 的模型勝過 175 billion 的模型

RLHF

從人類回饋學習的強化學習流程，Ross 認為是讓 LLM 變成產品的關鍵

Compaction

生成到 context 末端就摘要、再接著生成的做法，RL 可同時作用在摘要和任務上

Critic（value model）

用來降低梯度變異數的價值模型，代價是要和 policy model 一起訓練

Pipeline RL

生成序列的同時就開始訓練，換取 GPU 使用率但會有 off-policy

Kelly Bench

General Reasoning 做的長視野基準：讓 agent 建模型下注英超比賽，時間尺度一年

OpenReward

General Reasoning 的環境平台，單一 API 端點提供超過 350 個環境

提到但沒有展開

• Ross 說 Galactica 也是第一個真正做出多 epoch 訓練的大型 LLM：當時的共識是不要超過一個 epoch，「重複資料到四個 epoch」這條經驗法則是後來才被正式整理出來的。
• Ross 舉的 Galactica 成績：科學題約 68%，GPT-3.5 是 49%；chain of thought 上 30 billion 的 Galactica 拿 36%，540 billion 的 PaLM 是 19%。
• 談 context 不夠時，Chengxi 拿費馬最後定理估算：數學家花了十多年讀論文、寫草稿、散步想點子，換成 token 大概是數百億甚至數千億，而現在的 context window 只有一百萬 token。

Agent研究模型評估

在 YouTube 看原片 ↗