Magic.dev

079 · Magic：用長 context 做 coding AGI

37:47YouTube 上架 2024-08-30Eric Steinberger（Magic.dev CEO）

No Priors Ep. 79 | With Magic.dev CEO and Co-Founder Eric Steinberger

Eric Steinberger 談 Magic 為什麼從寫程式回推 AGI、為什麼押長 context 而不走 retrieval、產品為什麼遲遲不發，以及對安全與 AGI 之後社會的想法。

079 講了什麼

• 從寫程式回推 AGIEric 認為最終目標是能做所有事的系統，往回推，最小的版本就是會寫程式、想點子、跑實驗驗證的系統。只做 code 的話，不必顧及通用產品要面對的各種用途。
• 長 context 勝過 retrievalEric 說 retrieval 只替一次 completion 挑一部分資料，Magic 的模型卻隨時看得到全部資料；retrieval 若真是最佳解，模型自己就學得出來。Magic 一年前公布過 5 million 的 context，Eric 預告之後可能公布更大的數字。
• 推論算力要能讓使用者決定Eric 把模型表現看成訓練算力與推論算力各自的函數，使用者願意花的錢差異很大，所以應該讓人選擇花多少。這件事做起來不簡單，而且基本功還是得靠訓練。
• 安全的做法是反覆請模型去解Eric 認為眼前的疑慮和過去的科技類似、可以解決，真正要面對的是比人聰明的系統，所以主張一步步請模型去處理 alignment 與 safety。
• 產品沒發是在等下一版Eric 說 completions 不推，因為一定會被下一個東西取代；內部訂了期限，沒做到「像同事」的程度，就改推另一種形式。門檻是信不信得過：完全自動化是連 code review 都不必做，退一步的版本至少不能讓人 review 到要修一半的 PR。
• 算力判斷修正，團隊靠辨識人才Eric 承認先前低估了需要的算力，也低估別人會多投入 code，並說會同時宣布史上最大的叢集之一。招募上，Eric 說不靠從實驗室挖人。

從哪一段開始看15 段

1. 00:02開場主持人介紹 Eric Steinberger 是 Magic 共同創辦人與 CEO，待過 Meta 做遊戲相關研究，也經營過氣候領域的非營利組織；Magic 要做的是像同事而不是工具的軟體工程師 co-pilot。
2. 00:36從 RL 走到 MagicEric 14 歲決定找件重要的事來做，後來自學寫程式、做強化學習，寫長信請 DeepMind 的人帶，並與 Noam Brown 等人合作；開始做 Magic 時完全沒有語言模型的背景。
3. 02:54為什麼只做 code從 AGI 倒推，最小的系統就是會寫程式、想點子並驗證的系統；其他面向都單純一些，算力只便宜一點，Eric 說自己當初高估了差距。
4. 03:59長 context 的理由主持人問為何不走傳統 Transformer 路線、又這麼早押長 context。Eric 說模型要能從自己與協作者的長期行動學習，把算力帶到資料旁邊。
5. 06:03對上 retrievalEric 引用 bitter lesson：retrieval 只挑一部分資料，長 context 看全部；品質不夠時當然要實測，原則上寧可要能學習的方法。
6. 07:22推論算力的取捨表現是訓練算力與推論算力的函數；使用者花費分布很偏，應讓人選；但需要的基本功得在訓練時學到，否則推論時要現學程式。
7. 10:46AGI、安全與自動化Eric 認為短期的疑慮可解，真正要緊的是比人聰明的系統，做法是反覆請模型解 alignment 與 safety；成功的話會自動化大量工作，Eric 覺得整體是好事，也承認很嚇人。
8. 15:13算力判斷修正Eric 說先前錯估了算力需求，會隨發表宣布史上最大的叢集之一；也舉 Google search 為例，多數使用情境換更強的模型不會有人察覺。
9. 17:32產品為何還沒發每做完一版 UX 就覺得下一版更好，所以 completions 決定不推；內部設了期限，沒達標就改推另一種形式。
10. 19:54可靠度的門檻主持人問差別是不是可靠度。Eric 說完全自動化是連 code review 都不必做，助理版至少 review 起來不能累；一旦跨過門檻，使用者會從自己在 VS Code 寫，轉成讓 Magic 或最先做好的那家來寫，而且是 90% 的工作都交出去，不是 5%。
11. 21:51招募與團隊創業初期很難招人，不像 Dario Amodei 出來創業，一句「我做了 GPT-3」就夠。Eric 的策略是找不是人人都看得到的人才，這種人的衝勁與忠誠是挖角挖不到的；團隊不靠從實驗室挖人來帶走別人的訓練方法。
12. 26:15AGI 對社會的影響主持人問 AGI 的影響。Eric 說這題常被簡化成單邊論點，其實兩邊都有道理；相信資本主義與競爭加上對的 guard rails，電腦上的工作會被自動化。
13. 29:54意義與認同Eric 說自己覺得有意義的工作也會被取代，預期大約 10% 到 20% 的人在 AGI 之後會很挫折。對談中也提到 Ryan Avent 談富足年代認同問題的書。
14. 31:56North Star主持人問想用 Magic 解什麼問題。Eric 說這些題目都會被解出來，真正要緊的是讓 30 年後的世界在好的位置。
15. 35:06與開發工具的關係Eric 目前的想法是系統像員工一樣使用現有工具，工具會為 AI 調整；包一層的公司最終會被模型自己學會使用工具吞掉。

值得記的話5 句

• instead of bringing the data to the compute, we're bringing the compute to the dataEric 引同事的話：我們不是把資料帶到算力那邊，而是把算力帶到資料旁邊05:15

• retrieval selects a subset of data for one completion, our model sees all the data all the timeretrieval 只替一次 completion 挑出一部分資料，我們的模型則隨時看得到全部資料06:18

• I just genuinely think that there is a gigantic Market that gets unlocked in a step function moment我真心認為會有一個巨大的市場，在一個階梯式跳升的時刻被打開20:44

• I can't come up with like a mediocre AGI future, it doesn't exist我想不出一個普普通通的 AGI 未來，那種東西不存在33:47

• I think the end point is to model uses things the way a human does我認為終點是模型像人一樣使用各種東西37:08

名詞與人物8 個

Eric Steinberger

Magic 共同創辦人與 CEO，早年做強化學習研究。

Magic

Eric 的公司，目標是做像同事而非工具的軟體工程師 co-pilot，同時訓練專注 code 的大型自訂模型並做產品。

Noam Brown

Eric 早年一起做 RL 演算法的合作者之一；主持人也稱 Noam 是共同的朋友。

long context window

Magic 的核心取向，Eric 說一年前公布過 5 million 的 context。

in-context learning

Eric 視為 Transformer 最神奇的部分，把它看成一種線上的 optimizer。

retrieval

先挑出一部分資料再做回答的做法，Eric 認為不如讓模型直接看全部資料。

bitter lesson

Richard Sutton 的觀點，Eric 用來說明寧可要能自己學習的方法，而不是人工設計的 heuristic。

inference time compute

推論時投入的算力，Eric 主張應該讓使用者能調整花多少。

提到但沒有展開

• Eric 把 Etsy 當成 AGI 之後的證明：買得到外觀相同、中國製造的產品，人們仍會買人做的東西，Eric 預期這類需求會變很大，也認為遊戲會很盛行。
• 談 AGI 之後的意義時提到 Ryan Avent 2016 年的書《The Wealth of Humans》，問的是物資豐富之後，人的認同從哪裡來；對談也提到，光是讓 UBI 行得通並不能回答這個問題。

在 YouTube 看原片 ↗