在自己的資料上加算力

109Jack Morris（Engram）19:422026-08-12 上架

Scaling Compute on Context — Jack Morris, Engram

縮放一直只用在公開資料上，模型才學不會你的私人脈絡。Jack Morris 檢視幾種把資料訓練進模型的做法，指出它們都會飽和，要靠自我改進才能一直加算力。

這場講了什麼

• 缺的是深度，不是廣度：Terence Tao 常講，AI 懂每個公開的數學主題，也能在文獻之間搭橋，但少了研究生在一個領域練五年才有的直覺。Jack Morris 把「把資料訓練進模型」看成在追求這種深度。
• 模型做不到的三件事：不知道訓練之後發生的事；冷門的長尾技能學不好，例如公開的 AMD GPU kernel 很少，模型就寫不好；不認識使用者本人，也不知道你的公司跟哪家公司合作。
• 縮放一直只用在公開資料：更多資料、訓練更久、模型更大，這三個軸推動了整場深度學習革命，但資料都是公開的。模型越來越會寫 GitHub 上那種程式、解教科書裡的數學，卻沒有更懂你的生活與工作。
• 資料固定時只剩算力：公司的資料沒辦法憑空變多，也不太可能從頭訓練，得從預訓練模型出發，能調的只剩算力這一軸。不過 Jack Morris 也提醒，實務上資料量不是真的固定，還能去找相關資料。
• 每種做法都會撞到天花板：直接用 next token prediction 訓練，生成時模型會崩壞；壓縮 KV、on-policy distillation、用合成資料模擬預訓練、做 RL，也都在資料集學完之後飽和。
• 出路是讓訓練越來越難：AlphaGo 會隨著變強把自己的訓練題目出得更難。Engram 一開始畫出的曲線也是撞到上限，後來才找到讓訓練逐步加難的做法。

影片從哪一段開始看13 段

1. 00:12開場與主題這場不談實驗細節，只框出「在 context 上縮放算力」這個問題；它可能是持續學習的子問題，也可能就是答案。
2. 01:03廣度與深度Terence Tao 常講 AI 什麼公開主題都懂，卻缺少長年練習才有的直覺。在 context 上縮放算力，追求的就是深度。
3. 02:31模型缺什麼三個例子：不知道訓練後的新事件、學不好冷門技能、不認識使用者本人與公司私有的事。這是現在 AI 典範的核心問題。
4. 04:28一件事很多名字sleep time compute、continual learning、neural memory、dreaming 等等說的幾乎是同一件事；還沒有統一的名字，是因為這個典範還很早期。
5. 04:58三個縮放軸資料、訓練時間、模型大小三個軸帶動進步，但資料都來自公開來源；連資料公司雇人寫的資料也算公開，因為模型可能把它講給使用者聽。
6. 07:17固定資料預算公司資料無法擴增、也不會從頭訓練，只剩算力一軸。順帶一提，實務上可以再找相關資料，資料量不是真的固定。
7. 09:10問題設定手上只有一個預訓練模型和一大堆沒整理的資料 D，目標是做出一個「知道」D 的新模型。每家持續學習新創想做的都是這件事，Engram 也是。
8. 10:28做法一：直接訓練拿一批 10K financial reports 直接做 next token prediction，loss 可以壓到 0.0001，但生成時會崩壞，資料裡沒寫好答案的問題也答不出來。
9. 12:01做法二：假裝在 context 裡把 D 壓縮成一組 KV，或用 on-policy distillation 訓練模型以為文字就在 context 裡。前者只適用放得進 context 的資料，後者的難題是要拿什麼資料來蒸餾。
10. 14:22做法三：模擬預訓練與 RL依 D 做合成資料再訓練更久，或建立無監督的 RL 環境。前者會蓋掉部分原有的預訓練、難以擴大，之後也還得再 post-train。
11. 15:59共同的天花板不管哪種做法，資料集一定下來，訓練到最後就飽和，沒有預訓練那種加算力就更深的性質；缺的是「再來一次」的第二階段。
12. 17:21自我改進以 AlphaGo 說明讓系統自己把題目出得更難；Engram 起初的曲線也是撞上限，後來找到逐步加難的做法。
13. 18:33理想的曲線以個人信件為例：模型對你是誰、在做什麼、目標是什麼的內部模型越來越準，能幫的忙也越來越多。

值得記的話5 句

• models cannot acquire new knowledge after training in a personalized way.模型訓練完之後，沒辦法用個人化的方式取得新知識03:51

• So scaling is basically only used on public data, and yet it's so powerful.縮放基本上只用在公開資料上，卻已經這麼強大05:53

• they're not getting more knowledge of you or your life or your work, and that's what we're trying to change here.模型並沒有更了解你、你的生活或你的工作，這就是我們想改變的07:02

• How do you scale more compute given the same data?資料不變，要怎麼投入更多算力？08:53

• And then when you generate from it, it basically collapses.可是一拿它來生成，基本上就崩掉了11:16

名詞與人物7 個

Engram

Jack Morris 所在的新創，上週剛公開，研究怎麼在 context 上縮放算力

scaling compute on context

資料固定時，靠加算力讓模型對這份資料知道得更深；Jack Morris 說它可能是持續學習的子問題，也可能就是答案

Terence Tao

數學家，也是 AI 的重度使用者，他對 AI 的觀察被拿來說明廣度與深度的差別

KV compaction

把很長的 context 壓成一小組 KV，讓模型好像讀過全部內容；Claude Code、Codex、OpenCode 的 compaction 也是這個思路

on-policy distillation

讓模型把看過的文字當成就在 context 裡的知識轉移做法；on-policy 指訓練過程中模型持續更新

self-study

cartridges 論文的做法：依資料 D 產生問答，訓練模型像看著 D 一樣回答

GRPO

無監督 RL 環境那一類做法可以用的 RL loss

提到但沒有展開

• 資料公司（Scale AI、Surge AI、Mercor）雇人寫的訓練資料，本質上還是公開資料，因為模型可能把它講給任何使用者聽。
• METR 那張「模型每個月能完成更長任務」的圖，Jack Morris 認為純粹是縮放的結果。
• 問題設定裡「know」這個詞承擔了很多重量，大家能提出各種新做法，空間就來自它怎麼定義。
• 模擬預訓練還有一個實務障礙：很多人手上不是好的預訓練基底模型，而是已經 post-train 過的模型，這條路更難走。

研究模型創業

在 YouTube 看原片 ↗