誰有資格站上 AI 前沿

100Sara Hooker（Adaption）20:502026-08-12 上架

Adaption Labs: Gradient-Free Continual Learning — Sara Hooker, Adaption

Sara Hooker 談誰能站上 AI 前沿：Autoscientist 把模型訓練自動化，預訓練規模的報酬又在變小，門檻正在鬆動，重點回到你想回答的問題。

這場講了什麼

• 前沿的入口很窄：Sara Hooker 回顧科學家這個行業從獨立研究者走到專業化，AI 研究者則要走過名校博士班、頂尖實驗室這條窄路。算力需求又疊上一層門檻，少數前沿實驗室決定了誰能參與突破。
• Autoscientist 自動化模型訓練：從資料到對齊的整條流程一起最佳化，並依領域與資料類型自我演化。Sara Hooker 說它勝過自家研究人員，主要是研究人員只熟悉特定幾種模型，而它跨不同架構、大小、dense 與 mixture of experts 去試，搜尋空間寬得多。
• 資料品質要一起控制：許多自動研究專案把資料當成 agent 的一個決定，但 Adaption 直到控制了資料品質才拿到明顯的報酬，所以資料與模型必須共同最佳化。
• 預訓練規模不再是最划算的方向：Sara Hooker 引用自己寫的論文 Slow Death of Scaling，認為預訓練規模不是最有報酬的擴張軸，報酬更多來自更廣的動作空間，也就是配方、演算法與研究又重要了。
• 問答聚焦安全與規模：談到開放的安全疑慮，Sara Hooker 承認風險存在，但認為限制誰能參與也是代價；談到大模型與蒸餾，則認為沒有前沿實驗室會再把預訓練模型放大 4X，這套架構已經到天花板。

影片從哪一段開始看16 段

1. 00:12開場：誰決定前沿Sara Hooker 提出今天的問題，誰能站在發現的最前線，並指出現代電腦科學只有 77 年歷史。
2. 00:59科學家與狹窄的路從 gentleman scientist、1600s 的 Royal Society 到專業化，AI 研究者要走過名校博士班與頂尖實驗室才進得了前沿。
3. 03:06算力加深門檻算力需求讓 GPU poor 與 GPU rich 的差距成為進入前沿的障礙，只有少數實驗室造出我們用的技術。
4. 03:58同一個模型給所有人重心從學界移到業界，結果是把同一個模型交給所有人，而且不論問題難易都花同樣的算力。
5. 05:02Autoscientist幾週前發表的工具，要讓科學家跳過學工具的年頭直接問問題，自動化模型本身的訓練，並依領域與資料自我演化。
6. 06:05資料與模型共同最佳化多數自動研究專案把資料當成 agent 的一個選擇，Adaption 則是控制資料品質後才見到報酬；勝率顯示在 60 以上，是因為預算設定在超過 60 就停。
7. 07:42beta 反應與適用領域約四週前開始 beta，最受期待的是醫療、科學、法律與程式碼，這些領域的最後一哩客製化需求特別強。
8. 08:31兩道門檻與 242 種語言下一步是讓測試時算力也隨任務調整；Adaption 從第一天就涵蓋 242 種語言，並關注占日常任務大宗的不可驗證任務。
9. 09:21從單體模型到與環境互動過去一個團隊造模型、別人服務、別人做前端；現在最重要的智慧是能與環境互動、持續學習的模型。
10. 10:22預訓練規模報酬變小若訓練前沿模型仍要自備 10,000 張 GPU，Autoscientist 意義有限；但預訓練規模已不是最有報酬的擴張軸，推論等算力更分散、報酬更高。
11. 11:27小模型勝過大模型以 Open LLM Leaderboard 上每日最佳的 13B 以下小模型與較大模型比較，兩者的比例隨時間翻轉；報酬轉向更廣的動作空間，配方與演算法再度重要。
12. 12:31總結並開放提問Sara Hooker 說一切都洗牌了，現在做智慧的人，重點是自己想回答的問題而不是學工具。
13. 13:58問答：門檻為什麼會降兩個理由：會訓練前沿模型的人估計不到 5,000 人，把這類知識自動化就能加快創新週期；其次是 agentic 與 post-training 算力的購買邏輯不同。
14. 15:34問答：開放與安全有聽眾轉述前沿實驗室的看法，認為開放給外界是安全問題；Sara Hooker 承認風險，也強調限制參與同樣要面對。
15. 17:07問答：參數與非參數記憶加速學習要在參數空間與非參數空間之間取捨；為 harness 做 auto scientist 也得與模型共同最佳化，是個長視野問題。
16. 18:24問答：大模型與蒸餾沒有前沿實驗室會再把預訓練模型放大 4X，架構決定天花板；不是要大家都用 0.8B，而是頂端的競爭變得更平等。蒸餾有幫助，但同樣碰到天花板。

值得記的話5 句

• So modern computer science as a field has only existed for the last 77 years.現代電腦科學作為一個領域，只存在了 77 年00:27

• If you did not make it or you were not curious about the right problem at the right time, you didn't have a place to play at a frontier lab.沒擠進去，或是沒在對的時間對對的問題好奇，你在前沿實驗室就沒有位子02:18

• Frankly, we did not get the returns for how much you can squeeze out of performance until you control for data quality.坦白說，直到控制住資料品質，我們才真的把效能榨出來06:20

• the cost of asking something informs what is asked, and if you make it cheaper to ask something, you change the volume of things that are asked提問的成本會決定問什麼；問得更便宜，被問出來的東西數量就會改變14:30

• no frontier AI lab is going to 4X the size of that model again for pre-training沒有前沿 AI 實驗室會再把那個模型的預訓練規模放大 4 倍18:39

名詞與人物8 個

Adaption

Sara Hooker 所屬的公司，這場介紹的是它推出的 Autoscientist

Autoscientist

Adaption 幾週前發表的工具，用來自動化模型本身的訓練，從資料到對齊整個流程一起最佳化

gentleman scientist

Sara Hooker 用來指早期科學家：有足夠財富、獨立做研究的人

GPU poor / GPU rich

Sara Hooker 引用一則推文裡的玩笑說法，指有沒有足夠算力，造成進入前沿 AI 的障礙

co-optimize（共同最佳化）

這場反覆出現的做法：資料與模型一起調整，而不是把資料當成獨立的選項

non-verifiable tasks（不可驗證任務）

沒有標準答案可以驗證的任務，Sara Hooker 認為是日常任務的大宗

Slow Death of Scaling

Sara Hooker 寫的論文，主張預訓練規模不再是報酬最高的擴張軸

parametric / non-parametric space

問答中的取捨：知識存進模型參數裡，還是存在參數之外

提到但沒有展開

• Sara Hooker 說人調超參數時通常不敢一次全改，Autoscientist 會同時改很多個，搜尋空間因此被大量開發；勝率在拿掉 60 的停止門檻後還會隨時間往上走。
• 會訓練前沿模型的那套組態知識，Sara Hooker 形容像學徒制私下傳承的秘訣，人其實不太擅長，正適合自動化。
• 算力的角度上，Sara Hooker 認為購買邏輯正在改變：預訓練必須集中放在同一處並保留冗餘，推論等應用算力則可以分散得多。

Agent模型研究

在 YouTube 看原片 ↗