058 · Karpathy 轉隊 Anthropic，押注預訓練
Karpathy 從 OpenAI 創始成員一路走到 Anthropic，這則轉隊新聞背後，是他對預訓練這條被冷落路線的判斷，也順帶說明了整個產業的焦慮到底從哪裡來。
原標題：OpenAI 創始成員加入 Anthropic：為什麼押注沒人看好的預訓練？ | S2E58
重點摘要
- 那些流行語都出自他vibe coding 跟 context engineering 這兩個詞是 Andrej Karpathy 發明的，現在圈子裡又改口叫 agentic engineering。他一直在第一線做研究，也真的在用這些工具。
- auto research 與第二大腦他把「從零開始訓練一個 GPT」的步驟交給 AI 自己跑，每 5 分鐘試一組參數，跑一兩個晚上就能明顯拉高模型表現。另一個 LLM Wiki 的概念，是讓 AI 把你平常看過的東西整理成能互相連結的筆記。
- 手寫程式碼歸零去年初他還是 80% 自己寫、20% 交給 AI，年底就翻轉過來，今年年初起一行都不手寫。但他也承認產出常是一團 spaghetti，要定期清理、另外派一個 agent 去審。
- 用刪去法選了 AnthropicOpenAI 待過兩次都離開、xAI 進度落後還在蒸餾別人的模型、Google 還在追趕，剩下沒待過的就只有 Anthropic。Ramp 的數據也顯示今年 4 月企業採用率出現翻轉。
- 押注預訓練是反主流現在主流認為好資料已經用得差不多，重心該放在強化學習跟 harness engineering，他卻選了預訓練團隊。主持人的猜想是他想拿最強的模型加上 auto research，讓 AI 自己去找人類研究員看不出來的優化空間。
- 連他也覺得跟不上Karpathy 今年年初發推說自己從沒這麼落後過。整個產業其實都在 FOMO，拚命燒 token、買算力，某種程度上是因為大家都還不知道該怎麼做。
時間軸
時碼點下去會跳到影片的那一段。
| 時碼 | 段落 | 重點 |
|---|---|---|
| 00:00 | 開場 | Karpathy 正式加入 Anthropic。這集要回答他是誰、為什麼是現在、為什麼是 Anthropic。 |
| 01:35 | 阿森納奪冠 | 睽違 22 年拿下英超。從 Thierry Henry 講到 2003、04 不敗賽季，感慨現在已經很難再這樣追一個人。 |
| 04:15 | 世界盃的隱憂 | 動態票價讓最差的位置都要五六百塊美金，加上擴編到 48 隊跟人工草皮，預期整體品質會下降。 |
| 06:25 | 兩個疑問 | 為什麼是現在加入 Anthropic，以及他進去之後到底會做什麼、會怎麼影響 AI 的路線。 |
| 06:57 | 他發明的那些詞 | vibe coding、context engineering 都是他提的。重點不是改 prompt，而是怎麼把對的上下文餵給模型。 |
| 07:45 | auto research | 他的專案做的是 pattern 而不是 feature。把訓練 GPT 的流程交給 AI 自主跑實驗，證明 AI 自己做研究是可行的。 |
| 09:21 | 從 80/20 到不手寫 | 一年內信任度大幅翻轉。代價是程式碼常常很亂，得靠定期清理跟另一個 agent 審核才維護得下去。 |
| 10:40 | 學經歷 | Stanford 博士，指導教授是李飛飛。2015 年是 OpenAI 的 11 位創始成員之一，之後到特斯拉做 Autopilot 五年。 |
| 12:16 | Eureka Labs | 2024 年離開 OpenAI 後創辦 AI 教育公司。做了一兩年不到就選擇加入 Anthropic，成效可能不如他預期。 |
| 13:18 | 連他也焦慮 | 他發推說自己從沒覺得這麼落後過。整個產業都在摸索，所以現在會焦慮其實很正常。 |
| 15:12 | 採用率翻轉 | 根據 Ramp AI index，今年 4 月 Anthropic 的企業採用率超過 OpenAI，但這只反映美國客戶的花費。 |
| 16:32 | 刪去法 | OpenAI 待過兩次都走了，xAI 研究混亂，Gemini 最近雷聲大雨點小。剩下的選項只有 Anthropic。 |
| 18:07 | 想用 Mythos | Mythos 只開放內部跟少數合作夥伴。以個人身分碰不到最先進的模型，應該是他的痛點之一。 |
| 18:24 | 加入預訓練團隊 | 主管發推證實。這跟主流論述相反，現在大家把重心放在強化學習跟 harness engineering。 |
| 21:49 | 西洋棋的故事 | GPT 3.5 到 GPT 4 棋力突然變強，是因為有研究員放了更多高品質棋譜。預訓練裡還有很多沒人碰過的地方。 |
值得記的話
名詞與人物
| Andrej Karpathy | OpenAI 11 位創始成員之一，待過特斯拉做自動駕駛，現在加入 Anthropic 的預訓練團隊。 |
|---|---|
| vibe coding | 他發明的詞，指讓 AI 去寫、人在旁邊看感覺的開發方式；現在的說法偏向 agentic engineering。 |
| context engineering | 也是他提的概念，重點是餵對上下文給模型，而不是只在 prompt 上改字。 |
| auto research | 他的實驗：把訓練模型的步驟交給 AI，讓它自己設實驗、跑參數，一兩個晚上就拉高表現。 |
| LLM Wiki | 讓 AI 把你看過的文件跟對話整理成個人或公司的 wiki，把舊概念跟新概念連起來。 |
| Eureka Labs | 他 2024 年離開 OpenAI 後創辦的 AI 教育公司，想讓一般人理解模型背後是怎麼運作的。 |
| Ramp AI index | Ramp 觀察美國客戶花費做出的報告，今年 4 月顯示 Anthropic 的企業採用率超車 OpenAI。 |
| Mythos | Anthropic 還沒公開的模型，目前只有內部跟少數合作夥伴用得到。 |
| harness engineering | 幫模型加上工具跟限制，讓輸出更可控，避免同一個模型在不同人手上體驗差太多。 |
| Boris Cherny | Claude Code 的創辦人，他說 Claude Code 現在 100% 是由 Claude Code 自己打造的。 |
延伸
- Google I/O 的內容跟 Antigravity 收到的批評只點到沒展開，主持人說有興趣可以留言，再單獨開一集講。
- 講到 harness engineering 可能被更強的模型直接洗掉時，提到上一集談過的互動模型。
- 預訓練、微調、強化學習這些概念，節目之前講過。
原始出處
- Eureka Labs佐證筆記裡 Andrej Karpathy 離開 OpenAI 後創辦 AI 教育公司 Eureka Labs 的說法，首個課程 LLM101n 連到他自己的 GitHub。
- Anthropic beats OpenAI on business adoption — Ramp AI Index (May 2026)佐證筆記裡「Anthropic 過去一年企業採用率成長 4 倍，OpenAI 只加了 0.3%」與「今年 4 月 Anthropic 超車 OpenAI」的說法。