先讓 agent 讀懂程式碼庫

123 · 先讓 agent 讀懂程式碼庫

62:54YouTube 上架 2025-07-17Misha Laskin（Reflection AI CEO）

No Priors Ep. 123 | With ReflectionAI Co-Founder and CEO Misha Laskin

Misha Laskin 談 Reflection AI 的程式碼理解 agent Asimov：為什麼先做理解再做生成、為什麼不做預訓練，以及 RL 為什麼卡在獎勵、垂直整合又怎麼逼新創選邊。

123 講了什麼

產品與研究一起設計Misha 說做超級智慧有兩條路。一條是關進跟產品、客戶脫鉤的實驗室，把所有 benchmark 列出來往上堆；另一條是先想清楚它會怎麼被部署，再往回推。Reflection AI 走後者，代價是起步要專注，選的類別得大到稱得上 ASI complete。
難的是理解，不是生成現在的 coding 工具 80% 在生成、20% 在理解，但工程師 80% 的時間花在弄懂複雜系統、跟同事問問題。Asimov 就是為理解設計的；Misha 認為教 agent 動手的那 20% 大致已經解決。
eval 從客戶來新創贏過大公司的只有專注與速度。在大實驗室裡你只是上百個 eval 之一；新創則依客戶實際問的問題與痛點（例如新人 onboarding）建 eval，再反推要練哪些能力，而且模型、agent、產品每一層都要能改。
不做預訓練也能進場一年半前的押注是開放權重模型會夠好、預訓練會收斂到已知的範式，而 RL 現在的算力還負擔得起。這樣就能做出不必依附大雲端業者的前沿實驗室，雖然資本需求仍然很高。
RL 卡在獎勵Misha 在 Gemini 負責 reward model，認為整個領域是「被獎勵綁住」的：LLM 當裁判的獎勵有雜訊、遲早被 hack，有標準答案的來源又不多。演算法本身在探索與 credit assignment 上也很弱。
垂直整合與深度優先談到 Windsurf 沒被收購，Misha 認為買下資產改變不了研究團隊離產品太遠的問題，但說明了垂直整合的重要；沒有自家前沿模型的新創，在 coding、搜尋這類關鍵類別會很危險。未來每個大類別都會有自己 post-train 的模型。

從哪一段開始看17 段

00:03超級智慧的兩條路Sarah 介紹 Misha 與 Asimov 的發表。Misha 說一條路是脫離產品的實驗室，另一條是產品與研究一起設計，後者要先專注在夠大的類別。
04:00從物理走到 Gemini 的 RLMisha 念完物理博士，受 AlphaGo 啟發轉進 Peter Abbeel 的實驗室。在 Gemini 與共同創辦人 Ioannis 共事時，兩人看出下一個典範是在大型語言模型上擴展 RL。
07:53Asimov 與理解優先Asimov 是給大型程式碼庫用的 deep research 式理解 agent。企業導入 coding 工具後的生產力提升遠低於預期，有時甚至是負的，問題多在理解而不在生成。
11:49研究與產品缺一不可產品面要能吸收程式碼以外的知識、讓工程師教系統團隊內部的說法；研究面是 agent 設計與模型訓練。Misha 說 eval 是前沿實驗室最少被談、卻可能最重要的部分。
13:38要練哪些能力Reflection 專注 post-training：長 context 推理、tool use 與 multihop 推理。通用 agent 像是 agent 的預訓練，要往深處走就得針對特定工具訓練。
16:29新創的優勢是專注大實驗室裡做模型的人只是眾多 eval 之一，新創可以依客戶的 prompt 與痛點建 eval。只能改產品與 agent、不能改模型的話，就只能看第三方模型的臉色。
20:27模型與產品緊耦合在 Gemini 時，資訊要經過四個人才到客戶手上。benchmark 最強不等於產品最好，ChatGPT 與 Claude Code 是緊耦合的例子。Asimov 適合語意型的模糊問題，不適合單一檔案的快問快答。
24:34團隊共用記憶要處理誰能改、誰能看、誰說了算。客戶多半先讓資深工程師當守門人。Misha 說這等於在做版本控制，只是管的是「程式碼周邊的知識」，變更流程可能很像 pull request。
28:42為什麼不做預訓練押注開放權重模型會夠好、預訓練會收斂到已知範式。RL 需要的算力比預訓練少得多，資本需求仍高，但可以做出不被雲端業者掌控的公司。
32:58RL 為什麼難擴Sarah 問為何 RL 只用得上小得多的算力。Misha 認為主因是獎勵問題；其次是演算法在探索與 credit assignment 上很差，所以推理鏈會繞遠路。
37:14環境、泛化與幾年內的 ASI談到模擬 Airbnb、Salesforce 這類軟體的訓練環境，Misha 的暴論是根本沒有泛化，只是把測試分佈搬進訓練。Misha 仍認為幾年內某些工作類別會出現明確的超級智慧。
42:42benchmark 與實際成效的落差AIME 已經飽和、競賽程式的模型逼近世界頂尖，企業的回饋卻是成效不一。要每位工程師都有兩位數百分比的生產力提升，GDP 才會看到兩位數的成長。
44:16Windsurf 與垂直整合前沿實驗室要維持前沿研究就得垂直整合，但買資產改變不了研究與產品的距離。沒有自家模型的新創在 coding、搜尋這類類別會很吃緊，因為對手能補貼得比你多。
48:11機器人、資料與獎勵Sarah 提到機器人更依賴 imitation，並半開玩笑說軟體團隊的完整紀錄可以賣給實驗室。Misha 說 Reflection 會付錢買，並解釋當初為什麼從機器人轉做語言模型。
55:22何時走出 coding模型跟軟體互動靠函式呼叫，也就是程式碼，所以理解系統的能力可望延伸到其他知識工作。客戶已經把產品往 PM、技術支援拉，但現階段要保持專注。
58:11部署比藍圖慢得多幾年內各類別的藍圖大致會底定，實際部署卻是數十年的事；以前 DeepMind 的 RL 專案個個像雪花，都得各自客製。
1:00:00深度優先的玩家Codex 與 deep research 背後都是為各自環境 post-train 的模型，Misha 預期深度優先的公司會愈來愈多。Sarah 談挑選這個十年的問題，兩人都認為 coding 就是這個時代的題目。

值得記的話5 句

So 80% code generation, 20% comprehension. The actual problem is exactly the opposite.也就是 80% 在生成程式碼、20% 在理解，但真正的問題剛好相反10:14
The only way we can win I think is by being very focused.我認為我們唯一能贏的方式，就是非常專注16:45
The RL methods we have today are quite bad I would say at exploration and credit assignment我會說現在的 RL 方法在探索與 credit assignment 上都相當差36:28
There's no such thing as generalization. There's just bring the test distribution into train.根本沒有泛化這回事，只是把測試分佈搬進訓練37:45
The reality is that deployment of it is half the problem現實是，部署本身就是一半的問題44:16

名詞與人物12 個

Reflection AI: Misha Laskin 與 Ioannis Antonoglou 共同創辦，目標是打造超級智慧的自主系統，這週發表 Asimov。
Asimov: Reflection 的程式碼理解 agent，像是給大型程式碼庫用的 deep research。
Ioannis Antonoglou: Misha 的共同創辦人，Gemini 1.5 時期的 RL 總負責人。
Peter Abbeel: Misha 轉進 AI 時待的實驗室主持人，那是一個機器人與 RL 實驗室。
ASI complete: Misha 用來形容「大到足以逼出超級智慧」的產品類別。
post-training: Reflection 目前專注的訓練階段，針對長 context 推理與 tool use 調整模型。
reward model: 判斷任務結果好壞的模型，Misha 在 Gemini 負責建立。
credit assignment: 判斷推理鏈裡哪一步對、哪一步錯；Misha 說現行 RL 方法完全做不到。
verticalization: 前沿實驗室把模型和產品整合起來；搜尋是第一個，coding 是下一個。
jagged superintelligence: Misha 的說法：超級智慧會先在少數重要類別出現，各自綁著產品。
ownership file: Google 等公司用來列出程式碼各部分負責人的檔案，變更至少要其中一人核准；Reflection 也在用。
strike: DeepMind 內部對單一 RL 專案（如圍棋、StarCraft）的稱呼，每個都是量身打造的。

提到但沒有展開

Misha 舉 Grok 4 發表時的圖：針對 Humanity's Last Exam 搭配工具訓練的版本，分數明顯高過通用版。但這個考試對使用者有沒有意義，Misha 認為只有微弱的關聯，答案多半是沒有。
機器人的 RL 只在 locomotion 這種獎勵乾淨的情境效果好；視覺或感測訊號做成的獎勵比語言獎勵更容易被 hack。創業初期 Misha 和 Ioannis 也想過讓人邊做事邊對著麥克風講出思考過程，但執行上太難。

在 YouTube 看原片 ↗

Reflection AI