讓 AI 自己做 AI 研究的第一步

065Richard Socher（CEO Recursive AI）20:232026-07-30 上架

First Steps Toward Automated AI Research — Richard Socher, CEO Recursive AI

Richard Socher 從演化史一路談到科學的人力瓶頸，提出 Eureka machine 的構想，再拿 NanoChat、nanoGPT speedrun 與 CUDA kernels 三個小實驗，說明自動化研究已經跑出第一批成果。

這場講了什麼

• Eureka machine 是長期目標：Richard Socher 想做一台把科學發現自動化的機器，理由是科學越分越細，指數成長遲早會卡在人不夠。機器有四根支柱：既有知識、量測資料、模擬，以及最後跑真實實驗的實驗室，上面再疊一群 agent 處理這些來源。
• 用演化的角度看技術進步：從 35 億年左右的演化講到工業革命與人口成長，結論是更多科學帶來更多技術、更多成長，最後是更多人過得好，所以推動前沿值得投入。
• 讓這台機器自己建自己：AI 這個領域一再證明，拿掉手工環節、換成學出來的系統，成績就會進步。AI 能寫長時程的程式碼是最近六到八個月才有的事，這讓 RSI 有機會動手改自己。
• auto research 還不是真正的 RSI：Richard Socher 對 RSI 的定義是 AI 看得出自己的缺點，能動用從 pre-training、RL training 到 harness 的所有手段，更新整套系統；叫它去改進另一個流程或另一個 AI，只算比較弱的形式。
• 三個實驗都有進展：NanoChat 的 bits per byte 從原本的 0.93 壓到 0.91，nanoGPT speedrun 再快兩秒多、來到 70 秒，CUDA kernels 在各類別都贏過 NVIDIA benchmark 網站排行榜上的最佳成績。
• 為 AI 重做每一層基礎設施：You.com 做的是給 LLM 與 agent 用的網頁搜尋，因為 agent 一次讀得了上千筆，不必只看 10 條藍色連結加一小段摘要。

影片從哪一段開始看14 段

1. 00:12開場：Eureka machineRichard Socher 說這是自己多年來的「登陸火星」：一台最終會替人類發明幾乎所有未來發明的機器。先預告結論：AI 工程師也許該改當管理者，去管一個會做 AI 研究的 AI。
2. 02:08從演化看技術從 35 億年左右的演化，拉近到幾百萬年的技術演進：一段段指數成長，多數最後變成 S 曲線，而技術養得起越來越多人。
3. 04:15技術樂觀主義引 Marc Andreessen 的 techno-optimist manifesto：整個經濟唯一能持續成長的來源是技術，物質上的問題都能靠更多技術解決。
4. 05:23一輩子的跨度1900 年出生的人三歲時有了 Wright brothers 的動力飛行，大約 60 年後的 1969 年人類登月。AI 從處處不如人走到特定任務勝過人，可能也是 60 年的尺度，而且一切都變快了，也許只要 30 年左右。
5. 06:48Popper 與科學的汰擇借 Karl Popper 的看法：選理論就像演化，留下的是在競爭中最站得住的那一個；科學多半是提出假說，再拿去做嚴格的實證檢驗。
6. 08:25科學的人力瓶頸引 Stanislav Lem：科學範圍越拓越寬，每個細分領域的人越來越少，指數成長終究會被人力擋住，所以要把科學發現自動化。
7. 09:30Eureka machine 的四根支柱既有知識、量測資料、模擬、真實實驗室，上面一群 agent 處理這些知識、資料、實驗與獎勵；物理、化學、生物到經濟都適用。
8. 10:47為超智慧重做基礎設施瀏覽器、GPU 等每一層技術都能為 AI 重做一次，這裡有很多新創的機會；You.com 做給 agent 用的網頁搜尋就是一例。
9. 11:53讓它自己建自己NLP 從靠語言學家餵特徵，走到 word vectors 與端到端學習，每拿掉一個手工環節就進步一次；所以這台機器該由會自己改進的 RSI 來建。
10. 13:38三步驟與 RSI 的定義構想、實作、驗證三步適用多數科學領域。團隊做出第一版，用三個大家熟悉的小題目當證明，並分清楚 auto research 與真正的 RSI。
11. 15:34NanoChat不到五分鐘訓練一個小型聊天模型、比 bits per byte。原本的成績是 0.93，系統跑了一兩天多一點壓到 0.91，找到的不只是超參數，還有新的做法。
12. 16:47nanoGPT speedrun系統很快就贏過常與 AI 合作的人類成績，再快了兩秒多，來到 70 秒。
13. 17:26CUDA kernels許多 mixture of experts 模型在耗資數十億美元的大型叢集上，使用率只有 30% 左右。系統找到的 kernels 在各類別都明顯贏過 NVIDIA benchmark 網站排行榜的最佳成績；團隊裡沒有專寫 CUDA kernel 的專家，也和 NVIDIA 一起確認過沒有 reward hack。
14. 18:47結語：下一條 S 曲線RSI 可能是疊在現有曲線上的下一段指數成長，先幫 AI、再幫科學與所有技術；至於 AI 還能走多遠，Richard Socher 認為離上限還非常遠。

值得記的話5 句

• too late to explore earth, we're too early to explore the stars我們探索地球太晚，探索星空又太早05:55

• the exponential growth of science will actually be at some point halted by the lack of people working on it科學的指數成長總有一天會因為沒有足夠的人投入而停下；這是 Richard Socher 轉述 Stanislav Lem 早就看出的事08:25

• anything you can simulate you can verify and you can then solve with AI凡是能模擬的，就能驗證，也就能用 AI 解決10:04

• when we take out a manual process and we replace it with a learned system, improvements will follow我們拿掉手工流程、換成學出來的系統，進步就會跟著來12:41

• true recursive self-improvement is when you have an AI that has a sense of self-awareness真正的遞迴自我改進，是 AI 有了某種自我覺察14:35

名詞與人物10 個

Eureka machine

Richard Socher 想做的機器，把科學發現自動化，最終替人類做出未來的各種發明

RSI

recursive self-improvement；AI 看得出自己的缺點，並能更動從 pre-training、RL training 到 harness 的整套系統

auto research

讓 AI 去改進某個流程或另一個 AI；Richard Socher 認為這只是 RSI 的弱形式

NanoChat

不到五分鐘就能訓練完的小型聊天模型，以 bits per byte 比成績

nanoGPT speedrun

比誰訓練得快的 benchmark，這場的成績是 70 秒

CUDA kernels

訓練與測試時大量使用的 GPU 程式，這場拿 NVIDIA benchmark 網站的排行榜來比

You.com

Richard Socher 這邊做的網頁搜尋，對象是 LLM 與 agent

Marc Andreessen

techno-optimist manifesto 的作者，Richard Socher 引這份宣言談技術與經濟成長

Karl Popper

科學哲學家，Richard Socher 引用 Popper 把理論的競爭比作演化

Stanislav Lem

Richard Socher 說 Lem 很早就看出科學的指數成長會被人力不足擋住

提到但沒有展開

• 開場引了一句機器翻譯圈的老話：「每開除一個語言學家，準確率就上升。」Richard Socher 拿它類推，說在場的 AI 工程師或許也該把細活交給一個做 AI 研究的 AI，自己改當管理者。
• 談 AI 還能成長多少時，Richard Socher 把智慧拆成 10 個 spaces of intelligence，每個空間再定義多個維度；一旦這樣拆開來看，幾乎每個維度離上限都還差得非常遠。

研究Agent模型

在 YouTube 看原片 ↗