154 · Karpathy:把人從迴圈裡拿掉
Skill Issue: Andrej Karpathy on Code Agents, AutoResearch, and the Loopy Era of AI
Andrej Karpathy 說十二月之後自己幾乎不再手寫程式,改成同時指揮多個 agent,並談 AutoResearch、模型能力的鋸齒狀、開源與閉源的差距,以及教育為何轉向寫給 agent。
154 講了什麼
- 十二月之後不再手寫程式Andrej 說從十二月起,自己寫程式與委派給 agent 的比例從 80/20 翻成 20/80,現在還更偏向 agent,大概從十二月起就沒打過一行程式。Andrej 形容自己處在「AI psychosis」的狀態,一直想弄清楚還能推到多遠。
- 瓶頸換成人自己事情做不好,Andrej 多半歸因於自己的指令、記憶工具沒給好,也就是 skill issue。讀博士時 GPU 閒著會緊張,現在換成訂閱額度沒用完會緊張,在乎的是 token 吞吐量。
- Claw 與家裡的 DobbyAndrej 叫 agent 掃區網,找到家裡的 Sonos、自己摸出 API 放出音樂,燈也照樣處理。現在這個叫 Dobby 的 claw 管著燈、空調、窗簾、泳池、spa 和保全,用 WhatsApp 對話控制。Andrej 認為這類裝置的 app 本來就不該存在,介面該是 API,客戶是 agent。
- AutoResearch 與人的位置給 agent 一個目標、一個指標和邊界就放它跑。Andrej 自己手調過的小型 LLM 訓練 repo,隔夜跑完還找出漏掉的調整。結論是研究員不該待在迴圈裡,但只適用能客觀評估的事。
- 能力是鋸齒狀的模型在可驗證、有 reward 的領域像在軌道上,離開之後就亂飄,問笑話至今還是同一個老梗。Andrej 預期模型會逐漸分化,但現在還是單一大模型的天下;開源模型落後閉源幾個月,Andrej 覺得這樣的局面反而不差。
- 數位先、實體後,教育改寫給 agentbits 的變動會比 atoms 快很多,機會落在兩者的介面。Andrej 試過替 micro GPT 做講解影片,後來覺得意義不大,因為 agent 就能對人解釋;要自己傳下去的,只剩 agent 想不出來的那幾個 bits。
從哪一段開始看19 段
- 00:34開場與十二月的轉折主持人轉述 Andrej 說過「每天花 16 小時把意志表達給 agent」;Andrej 說十二月起從 80/20 變成 20/80,也怕自己沒站在最前線。
- 03:26做不好都是 skill issue失敗多半是指令與記憶工具沒給好;Andrej 舉 Peter 讓多個 Codex agent 排滿螢幕、用大塊動作分派工作為例。
- 05:15token 吞吐量主持人說有 token 就該平行跑;Andrej 說額度用不完會緊張,像以前 GPU 閒著,現在人才是瓶頸。
- 07:03claw 的個性與記憶往上一層是多 agent 協作;claw 會持續自己跑。Andrej 稱讚 Peter 在 OpenClaw 的個性、記憶機制與單一 WhatsApp 入口上的設計。
- 09:26Dobby 管家三句話就讓 agent 找到 Sonos 並放出音樂,接著接管燈、空調、泳池與保全相機,取代原本六個 app。
- 11:49app 該變成 API人們心中的 AI 是會記事的角色而不是 token 產生器;裝置 app 不該存在,客戶變成代人行事的 agent。
- 16:26AutoResearch 的起點要把自己從迴圈裡移出來,設定目標、指標、邊界後放手;手調過的訓練 repo 隔夜跑完又找出新的調整。
- 19:29把研究員移出流程構想是一條點子佇列、一群 worker 去試,有效的放上 feature branch;研究組織本身可以寫成 program.md 再被優化。
- 23:22適用範圍與鋸齒狀只有能評估的事才能 auto research;模型像資深博士生加十歲小孩,在可驗證領域強,其餘領域亂飄。
- 29:04模型會不會分化Andrej 預期出現更多專精的小模型,但目前仍是單一大模型;調整權重比調 context window 難得多。
- 32:57全網一起 auto research不可信的 worker 群加上可信的驗證者,類似 SETI@home 與 Folding@home:找答案昂貴、檢查結果便宜。
- 37:54工作數據與數位先行Andrej 把勞動統計局的職業資料做成視覺化;數位資訊處理的改變會比實體世界快得多。
- 40:57工程師需求與 Jevons工作是任務的集合,現階段 AI 是工具;軟體變便宜,需求可能變大,Andrej 對軟體工程抱持審慎樂觀。
- 44:30在前沿實驗室內外主持人轉述 Noam 的問題;Andrej 說在外面比較自由,但判斷力會逐漸偏離,所以希望能來回進出。
- 48:52開源離前沿多遠開源模型落後閉源幾個月;Andrej 以 Linux 作類比,希望閉源前沿與落後一點的開放共用平台並存,也想要更多實驗室。
- 54:17機器人與 atoms從自動駕駛的經驗看,機器人資本密集又困難,會落後數位領域。
- 55:50感測器與致動器數位工作做完後要回頭問宇宙;Andrej 看好物理與數位的介面,例如昂貴的實驗室設備、付費買訓練資料與資訊市場。
- 1:01:28micro GPT訓練 LLM 的演算法壓到約 200 行 Python;LLM 訓練很適合 auto research,但要防系統對指標過度擬合。
- 1:03:30教育改寫給 agent與其做講解影片,不如把教學寫成 skill,文件也該寫給 agent 讀;人要專注 agent 想不出來的那幾個 bits。
值得記的話5 句
I don't think I've typed like a line of code probably since December basically.
我大概從十二月起就沒打過一行程式01:54I simultaneously feel like I'm talking to an extremely brilliant PhD student who's been like a systems programmer for their entire life and a 10-year-old.
我同時覺得自己在跟一個當了一輩子系統程式設計師的超聰明博士生,和一個十歲小孩說話24:25frontier labs have a huge amount of trusted compute but the earth is much bigger and has huge amount of untrusted compute.
前沿實驗室有大量可信任的算力,但地球大得多,有大量不可信任的算力36:05I'm not explaining to people anymore. I'm explaining it to agents.
我不再對人解釋了,我是對 agent 解釋1:02:59The things that agents can't do is your job now.
agent 做不到的事,現在才是你的工作1:05:52
名詞與人物12 個
- skill issue
- Andrej 的口頭禪:做不好多半是指令、記憶工具這些用法沒到位,而不是能力不存在。
- claw
- 會持續循環、有自己的沙盒與較複雜的記憶,能在你不看的時候代你做事的 agent 層。
- OpenClaw
- Andrej 說它的記憶系統比一般 agent 預設的 context 壓縮精緻,至少有五個好點子。
- Peter
- Andrej 談 OpenClaw 時稱讚同時在五個面向創新的人,也是同時開多個 Codex agent 工作的例子。
- Dobby
- Andrej 家裡的 claw 管家,用 WhatsApp 控制燈、空調、窗簾、泳池、spa 與保全。
- AutoResearch
- 給 agent 目標、指標與邊界後讓它自行迭代,研究員不在迴圈裡。
- program.md
- Andrej 描述 auto researcher 該怎麼運作的 markdown 檔;研究組織本身也可以看成一組這種檔。
- jaggedness
- 模型在可驗證的領域極強,在其他領域卻表現不穩的鋸齒狀能力。
- Jevons paradox
- 某物變便宜,需求反而變大;Andrej 拿來解釋軟體需求,並舉 ATM 與銀行櫃員的例子。
- SETI@home、Folding@home
- 找解很貴、驗證很便宜的分散式計算專案,Andrej 拿來類比全網 auto research。
- micro GPT
- 把 LLM 訓練演算法壓到約 200 行 Python 的專案。
- Daemon
- Andrej 推薦的一本書,書裡的智慧體讓人類同時成為它的致動器與感測器。
提到但沒有展開
- 談物理與數位的介面時,Andrej 提到上週去看了朋友 Liam 當 CEO 的 Periodic,那裡在做材料科學的 auto research,感測器就是昂貴的實驗室設備;另外也有公司付錢向人買訓練資料。
- Andrej 覺得資訊市場還有缺口:拿德黑蘭當例子,當地拍的照片或影片應該有人出 10 美元左右收購,買家是想猜賭局與股市的 agent,而不是人。
- 主持人提過一個比賽構想:讓大家各寫不同的 program.md,在相同硬體上比誰進步最多,再把這些資料交給模型,請它寫出更好的 program.md。Andrej 認為可行,但要一層一層來。

