持續學習該怎麼評測

101Parth Asawa（UC Berkeley）20:302026-08-12 上架

Beyond Static Intelligence: Evaluating Continual Learning — Parth Asawa, UC Berkeley

現在的模型評測每題各算各的，量不到「從經驗變強」的能力。Parth Asawa 介紹 Continual Learning Bench，講設計準則、gain 指標與初步結果。

這場講了什麼

• 評測假設模型沒有記憶：每次發表新模型，圖表上的分數都是一題一題獨立跑出來的，等於叫模型每做一件事就忘光重來，量得到能力，量不到學習。
• 舊方法與舊題目都不夠：既有的持續學習評測沒把樣本效率當首要條件，也不見得量到學習，而前沿模型幾乎吃過整個網路，很難找到它還沒學過的任務。把舊 benchmark 串起來也不行，題目本來就設計成彼此獨立、沒有共享結構，前面學到的幫不上後面。
• 三項設計準則：任務要有 headroom（需要線上適應才進得了步）、任務之間有共享的潛在結構、環境裡要有能學習的訊號，例如純量獎勵、錯誤訊息或文字回饋。
• 用 gain 把學習和底子分開：同一個系統跑兩次，一次保留狀態、一次每題重置，兩者 reward 的差就是 gain。只看累積 reward，可能把基礎模型的強弱誤當成學習能力。
• 初步結果出乎意料：在這版 benchmark 上，單純把經驗塞進 context 的做法，名次與成本效益都贏過比較貴的 context 管理系統。Parth 也承認任務屬中等時間跨度，之後要往更長推。
• 失敗分成穩定性與可塑性：Parth 認為多數失敗落在兩者之一，有的系統忘了先前的回饋，有的系統認不出新資訊其實適用。

影片從哪一段開始看15 段

1. 00:12只談聰明，不談學習大家都在說 agent 多聰明，卻沒有人量它學得多快；Parth 要談的是怎麼評測學習能力。
2. 00:46現行評測的前提每個任務獨立跑、再匯總成排行榜，等於預設模型每做一件事就失憶。
3. 01:49什麼是持續學習要同時記住舊資訊又能吸收新資訊；現在模型訓練完就凍結權重，可能的路線有 in-context learning、外部記憶、更新權重三種。
4. 03:38既有的評測做法傳統是依序訓練任務 A、B、C，看舊任務有沒有退步；語言模型也有長對話事實回憶的測法，但都不夠。
5. 05:13為何不能串舊題目傳統 benchmark 的題目彼此獨立、沒有共享結構，串起來也沒有進步的依據。
6. 05:59三項設計準則headroom、共享結構、學習機制，三項是評測持續學習的基本要求。
7. 07:37reward 與 gain每題有單位 reward；為了排除基礎模型強弱的干擾，另外算保留狀態與重置狀態的差，也就是 gain，最後放在 Pareto frontier 上比較。
8. 10:31資料庫探索任務面對陌生的 schema，一開始要下很多 SQL 摸索，會學習的系統到第十題左右應該省力許多。
9. 12:04概念漂移資料庫遷移後欄位被刪、改名、格式也變，系統得判斷哪些舊經驗已過時、哪些還能用。
10. 13:06六個領域Continual Learning Bench 1.0 涵蓋頻譜監測、程式碼庫適應、流行病學、撲克、資料庫探索與銷售預測，題目都請領域專家檢驗過是否可學、是否貼近實際。
11. 13:52初步結果單純的 in-context learning 在 reward 以及兩種成本對照的 Pareto frontier 上都排最前面，比花更多成本的 context 管理系統好。
12. 14:54兩類失敗模式銷售預測的例子裡，模型忘了先前高估過而又跳回高估；流行病學的例子裡，帶筆記本的系統誤判研究 schema 不適用。
13. 16:41對參數式方法的看法現行訓練堆疊從沒把持續學習當第一要求，Parth 懷疑這是沉沒成本，理想做法可能是只有一個學習階段，之後部署時就持續更新權重。
14. 18:36更大的研究問題持續學習只是 Parth 的研究團隊挑戰現有訓練方式的一環；AI 研究整體還有開放科學、權力集中、安全，以及學界這類第三方機構的未來等問題，值得重新想過。
15. 19:23接下來的方向要加入更多特定領域、更長時間跨度的任務，納入更多開源模型與參數式方法，也要把任務環境的模擬推到容易驗證的確定性領域以外；最後收在「持續學習不是點狀能力」。

值得記的話5 句

• Continual learning to me is sample-efficient online learning that is stable over long horizons.對我來說，持續學習就是樣本效率高、而且長時間下依然穩定的線上學習01:49

• the answer is that total reward alone might confound continual learning ability with base model strength.答案是：只看總 reward，可能把持續學習的能力和基礎模型的強度混在一起08:08

• Gain refers to the difference between stateful reward and stateless reward.gain 指的是保留狀態的 reward 和無狀態的 reward 之間的差09:12

• we're operating in a bit of a sunk cost fallacy, that because we've trained models the way we are today我們有點陷在沉沒成本的謬誤裡，只因為我們現在就是這樣訓練模型17:47

• continual learning doesn't look like point capabilities.持續學習不像點狀的能力19:53

名詞與人物8 個

Continual Learning Bench

Parth 團隊的持續學習 benchmark，這場介紹的是 1.0 版，涵蓋六個領域

continual learning

要在不遺忘舊資訊的前提下，從新資訊持續更新，並維持長時間穩定的學習

headroom

任務要有只靠線上適應才能進步的空間，若離線訓練就能進步，就不適合測持續學習

gain

同一個系統保留狀態與每題重置狀態兩種跑法的 reward 差，用來隔離出學習帶來的好處

stateless baseline

每個任務之間重置系統，讓模型沒辦法累積經驗的對照組

stability / plasticity

穩定性是把學到的東西留住並用於後續任務，可塑性是從新資訊學習，Parth 認為多數失敗落在其中一邊

concept drift

任務過程中環境改變，例如資料庫遷移，系統要分辨哪些舊經驗已經過時

Pareto frontier

這個 benchmark 同時比 reward、gain 與成本，用來呈現取捨

提到但沒有展開

• Parth 自己看好參數式方法，而且是把架構、資料與演算法放在一起重新設計。訓練堆疊早就從 pre-training、SFT、RLHF，變成 mid-training、針對不同 teacher 模型的 RL，最後再做 multi-teacher on-policy distillation；問題是這些模型從一開始就不是為持續學習設計的。
• 想測針對個別使用者的持續學習，需要能模擬使用者的模型；Parth 認為現在的模型還做不到，但值得去試。

評估研究模型

在 YouTube 看原片 ↗