智慧不等於專長,持續學習才是橋
Intelligence + Continual Learning = Expertise — Yu Su, NeoCognition

Yu Su 認為智慧與專長是兩個獨立的軸:模型再聰明,沒有持續學習也只是最聰明的新手。下一步要擴大的是專長,不是智慧。
這場講了什麼
- 程式碼是特例,不是常態:Yu Su 說 coding agent 會成功,是因為程式碼本來就是語言原生的世界,結構清楚,測試與回饋都是符號化的。一離開這個世界,agent 在企業與個人場景就很脆弱。
- 現代版的 Moravec 悖論:寫程式、解數學這類符號推理已經很強,日常的數位工作反而做不好。Yu Su 的解釋是社會由無數個各自獨特的 micro world 組成,單一的靜態模型壓不下來。
- 智慧與專長是兩回事:智慧是面對陌生問題、靠手上的脈絡推理;專長是累積下來、貼著特定領域的穩定表現。專家看到的模式不同,知道每條規則的前提與例外,也知道什麼時候夠好了。
- 專長帶來脈絡,也縮小搜尋:智慧拿到脈絡去解題,專長知道該把哪些脈絡帶進來。智慧傾向暴力展開搜尋,專長靠累積的捷徑直接走向可能的解法。
- 持續學習的四個要素:Yu Su 的定義是把經驗適應性地壓縮成結構,供未來的行為使用,拆成經驗、壓縮方式、結構、使用方式四塊。
- 要擴大的是專長:Yu Su 最感興趣的可能是「有限的智慧、無限的專長」,並呼籲開始 scaling expertise,讓每個人都有專家支援、每家公司都有自己的學習迴路。
影片從哪一段開始看12 段
- 00:13自我介紹與兩個問題Yu Su 是 Ohio State 的教授,也是 NeoCognition 的 CEO。這場要分清楚智慧與專長,並回答 agent 為什麼在 coding 以外很差、又為什麼這麼耗 token。
- 01:25agent 的歷史1960 到 80 年代的專家系統、2010 年代的深度強化學習 agent,都只抓到智慧的一小塊。多模態模型加上語言 agent,第一次把多感官輸入編成可供符號推理的統一表示。
- 02:45程式碼是第一個大市場Yu Su 舉 Anthropic 的營收為例:成長 400 倍到 $40 billion,最新數字可能是 $60 billion,主要靠 coding。程式碼本來就是語言原生的世界,結構、測試與回饋都是符號化的。
- 03:45離開程式碼就卡關企業場景部署困難,個人場景的 OpenClaw 也常犯脆弱又愚蠢的錯。Yu Su 引 Karpathy 的說法:這會是 agent 的十年,因為電腦操作與持續學習都還不行,而這兩件事到現在大致沒變。
- 04:49現代版 Moravec 悖論符號推理很強、日常數位工作很弱。社會是無數個獨特的 micro world,連同一套軟體每家公司都設定得不一樣,agent 必須在工作中持續學習,才拿得到各領域的專長。
- 06:24智慧與專長的定義智慧是靠現有脈絡推理陌生問題,每個 episode 大致獨立;專長是累積且貼著情境的能力,能在特定領域穩定做出好表現。
- 07:31專家怎麼看世界專家看 bug report 能直指最可能出錯的地方,排會議是在解一個牽涉權限、優先順序與急迫性的約束最佳化問題,知道規則的前提與例外,也有判斷與品味。合起來就像對那個環境的 world model。
- 09:26專長帶來脈絡智慧是有了脈絡去解題,專長是知道該帶哪些脈絡進來。智慧靠平行展開暴力搜尋,專長靠累積下來的捷徑縮小搜尋空間;持續學習是從智慧走到專長的橋。
- 10:37持續學習的定義持續學習是把經驗適應性地壓縮成結構供未來使用,拆成經驗種類、壓縮方式、結構形式、使用方式四個面向,每個面向都有好幾種做法,所以這個題目才讓人眼花。
- 12:46智慧與專長的兩軸圖兩軸大致正交。只放大模型會得到最聰明的新手;持續學習演算法決定專長曲線的斜率。Yu Su 最喜歡的情境是智慧過了門檻,專長就不再受限;若真是如此,也許不必一直訓練更大的模型,缺的是更好的持續學習演算法。
- 15:14開放問題怎麼定義與衡量專長、可靠與可塑怎麼兼顧、參數式與非參數式學習怎麼協同,以及專精能不能反過來帶來更好的泛化:公開資料已經用完,下一批網際網路等級的資料在各種私有世界,專精的 agent 就地學習、再回饋給通用模型。
- 17:30呼籲擴大專長智慧已經變得充裕,專長仍然稀缺。理想中每個人都有私人醫療、財務顧問與家教,每家公司都有自己的學習迴路;專長變多之後,摩擦降低,很多原本划不來的工作就做得起來。
值得記的話5 句
experts don't just know more facts. They actually see the world differently.
專家不只是知道更多事實,他們看世界的方式不一樣07:31But expertise actually will bring you the right context.
但專長會替你帶來對的脈絡09:26I think continued learning is adaptive compression of the experience into reasonable structures for future behavior.
我認為持續學習,是把經驗適應性地壓縮成結構,供未來的行為使用10:53Then what we will get is what I call the world's smartest novice
那我們會得到我所說的世界上最聰明的新手13:03But expertise is still scarce.
但專長仍然稀缺17:45
名詞與人物8 個
- NeoCognition
- Yu Su 擔任 CEO 的公司,專注在 agent 與持續學習
- Moravec's paradox
- 對 AI 來說難的事容易、容易的事難;Yu Su 說現在是它的現代版本
- micro world
- Yu Su 的用語,指每個領域、職業、公司各有自己的結構、限制與動態
- expertise
- 累積且貼著情境的能力,能在特定領域穩定做出好表現,跟只管推理的 intelligence 相對
- continual learning
- 把經驗適應性地壓縮成結構供未來行為使用,有經驗、壓縮、結構、使用四個面向
- the world's smartest novice
- 只放大模型、不累積專長的 agent:什麼問題都敢碰,卻每題都只能暴力解
- reliability vs plasticity
- 可靠的系統抗拒改變,可塑的系統喜歡改變;agent 兩者都要,人類就是兩者並存的活證明
- parametric / non-parametric learning
- 兩種學習形式;Yu Su 相信持續學習兩者都需要,難題是怎麼協同
提到但沒有展開
- 四個面向各有選項:經驗可以是 episode、語意事實、程序或人與環境的回饋;壓縮可以嵌成向量、索引成符號結構、蒸餾進參數或做強化學習,而且要隨已學到的東西調整;結構可以是 adapter、向量、圖、skill 或 world model;用途則從回想事實、預測未來狀態、規劃,到控制 agent 的動作或當 value function。
- Yu Su 引 Satya 兩週前的說法:每家公司都要有人與 AI 的學習迴路,沉澱成制度記憶,建立自己的護城河,也繼續掌握自己的生產工具。
同一站:路線圖外:做模型28 場
- 從環境到非同步 RL 的後訓練工具鏈010 · Will Brown(Prime Intellect) · 47 分
- Cursor 怎麼訓練自己的模型017 · Lee Robinson(Cursor, SpaceXAI) · 21 分
- 自動研究 agent 打進競賽排行榜018 · Zhengyao Jiang(Weco) · 16 分
- 基準、kernel 與獎勵作弊022 · Daniel Han(Unsloth) · 140 分
- 資料市場的內幕與下一步044 · Sean Cai(Independent / State of Data) · 18 分
- 放大預訓練時的合成資料與踩雷045 · Marah Abdin & Robert McHardy(poolside) · 18 分
- AlphaLab:把環境當成真正的資產056 · Brendan Rappazzo · 20 分
- 現成 LLM 為何不懂錢062 · Udi Menkes(Intuit) · 20 分
- 讓 AI 自己做 AI 研究的第一步065 · Richard Socher(CEO Recursive AI) · 20 分
- MiniMax M3 開源與推論實戰068 · Dan Fu and Olive Song · 20 分
- 算力吃緊時,先把資料變好070 · Ari Morcos(DatologyAI) · 19 分
- 後訓練的資料與環境整理方法071 · Mahesh Sathiamoorthy(Bespoke Labs) · 19 分
- 把整間軟體公司放進沙盒訓練 agent072 · Joseph Wang · 17 分
- 把主觀領域拆成模型學得會的題目073 · Thais Castello Branco(Taste Labs) · 16 分
- 讓 agent 在現場邊做邊學的後訓練074 · Raymond Feng(Applied Compute) · 18 分
- 沒有標準答案時怎麼做 RL075 · Will Brown(Prime Intellect) · 19 分
- 從 Galactica 走向長視野強化學習076 · Ross Taylor & Chengxi Taylor(General Reasoning) · 18 分
- Base model 不再只是網路知識庫077 · Varun Singh(Arcee AI) · 18 分
- RLHF 之後:從助理走向自動化079 · Diogo Almeida(TypeSafe AI) · 18 分
- 長時程任務的環境與 judge 設計080 · Rayan Garg(Theta Software) · 21 分
- 教模型找出真正的漏洞081 · Prof. David Brumley(Bugcrowd) · 27 分
- 誰有資格站上 AI 前沿100 · Sara Hooker(Adaption) · 21 分
- 用蒸餾把持續學習帶進企業102 · Samuel Denton(Applied Compute) · 19 分
- 智慧不等於專長,持續學習才是橋你在這裡
- 在自己的資料上加算力109 · Jack Morris(Engram) · 20 分
- 用自我蒸餾把持續學習做大110 · Ronak Malde(Trajectory) · 23 分
- Krea 2 的訓練與推論基礎設施114 · Gabriel Jorge Menezes(Krea.ai) · 17 分
- Krea 2 訓練心得:資料決定一切117 · Sangwu Lee(Krea.ai) · 22 分