135 · 讓模型懂人，而不是取代人
No Priors Ep. 135 | With Humans& Founder Eric Zelikman
Eric Zelikman 從 STaR、Quiet-STaR 一路談到推理訓練的現況，再說明為什麼創辦 Humans&：想讓模型理解人的長期目標，跟人一起把事情做完。
135 講了什麼
- STaR 的做法很單純讓模型自己想解法，答對的就拿來學，答錯的不給獎勵，反覆做下去，模型會逐步解更難的題。Eric 說 n 位數加法實驗裡，訓練越多輪能做的位數就越多，看不到明顯的高原。
- Quiet-STaR 想放大到預訓練規模用一般文字片段預測下一段，看模型能不能學會更通用的推理。Eric 認為這篇被忽略的是幾項關鍵改進，例如演算法要 online、要有 baseline。
- 模型聰明，但參差不齊Eric 說有些 HLE 題連博士研究者都覺得不簡單，但模型也常被陷阱題絆倒，而且在情感面、理解人在乎什麼這件事上很弱。給越多 context 越好，答案容易檢查的問題也比較順。
- 自主時間越長，人越沒有參與感Eric 談到 METR 那類以「能自主工作多久」衡量進展的指標，並認為模型自己跑八小時回來，人會覺得沒有主導權，也不太懂做出來的東西。
- 取代或賦能是兩條路Eric 認為把世界 GDP 切出一塊塊自動化，不如打造理解人的模型來把餅做大，也相信根本問題更可能靠人與模型協作解決。
- 目前的訓練把每一輪對話當獨立任務Eric 說這讓模型不問問題、不表達不確定、不考慮長期影響。Humans& 想做的是記得你、能把你說的話放進整體脈絡的模型。
從哪一段開始看16 段
- 00:03開場與研究動機Eric 說自己一直關心的是怎麼讓人把時間花在真正想做的事上；起初想靠自動化，後來發現得先理解人想要什麼，這件事很難。
- 03:12STaR 的直覺答對就學、答錯就不給獎勵，迭代產生解法；n 位數運算的實驗看不到明顯高原，並提出讓模型回頭解釋答錯題的變體。
- 06:04Quiet-STaR目標是把這套方法拉到預訓練規模，用一般文字預測下一段來學推理，並點出 online 與 baseline 這兩項改進。
- 07:53xAI 與模型多聰明主持人列出 Eric 在 xAI 做過的事；Eric 說模型參差不齊，部分 HLE 題很難，但常被陷阱題絆倒，也不懂人在乎什麼。
- 10:18給非研究者的直覺給模型的 context 越多越好，答案容易檢查、有封閉形式的問題最適合現在的模型。
- 11:37程式任務為何失敗Eric 談速度與品質的取捨，並說關鍵在題目離訓練分佈多遠；主持人補充各家不會公開 RL 資料長什麼樣子。Eric 也說可驗證與不可驗證的任務之間仍有差距。
- 14:48scaling 與人在迴圈Eric 認為智力軸上還有沒探索完的 scaling 維度，但讓人留在迴圈是設計時的主動決定；主持人指出各家實驗室的本能是把人拿掉。
- 16:55自主時間與參與感從 METR 的任務時長指標談到，模型自己跑很久之後，人對做出來的東西缺乏主導權與理解。
- 19:14取代還是賦能Eric 反對把 GDP 一塊塊切出來自動化，主張理解人的模型能把餅做大，也認為協作比單一 AI 自己跑二十小時更可能解決大問題。
- 22:08為什麼做 Humans&主持人驚訝 Eric 從 IQ 轉向 EQ；Eric 提到博士班時用模型模擬學生來設計更好的測驗，以及現有模型沒有深入融入人的生活。
- 24:14任務中心的基準Eric 說很少基準考慮模型與人互動後對人的影響；聽 Google 的人說，這是為了方便分配資源，另一個原因是 RL 環境多半是程式與電腦操作。
- 26:18模型缺少長期視角把每輪對話當一局，就不問問題、不表達不確定；諂媚與精神問題都與此有關。主持人提到多輪互動的資料很難收，Eric 提到學界已有初步探索。
- 29:58兩年後的互動模型會把你說過的事放進整體脈絡，例如知道你要去婚禮，再問巴黎的飯店就不必重講背景；Eric 說記憶一直被低估投資。
- 33:06我是獨一無二的雪花主持人質疑人不可能被模擬；Eric 說多少有道理，但模型的目標就該是理解你，做不完美也比現在好很多。
- 34:25豐饒的世界主持人以科幻系列為例，問 Eric 的豐饒願景有何不同；Eric 說模型該讓人去做想做的事，不該把思考都外包。
- 35:43徵才Eric 想沿用前一家公司把每個人都當工程師看的做法，要找能動手的基礎設施、研究、產品人才，包括懂記憶、分散式系統、快速推論與有品味的產品設計。
值得記的話5 句
there's no obvious plateau here
這裡看不到明顯的高原。談 n 位數運算實驗：訓練輪數越多，能做的位數就越多05:02they're not smart on the level of like actually understanding kind of what people care about
Eric 說模型不懂人在乎什麼10:02strongly believe that we're much more likely to solve a lot of these fundamental human problems by working together
我深信，靠著合作，我們更有可能解決許多人類的根本問題21:20the models kind of don't understand the long-term implications of the things that they do and say
Eric 說模型最根本的缺陷26:18I think what we really want are models that are able to empower us.
我覺得我們真正想要的，是能讓我們更有力量的模型；講的是對豐饒的看法35:28
名詞與人物9 個
- Humans&
- Eric 創辦的新公司，目標是做理解人的目標與長期脈絡、能與人協作的模型。
- STaR
- Eric 在 Stanford 時的工作：模型自己產生解法，答對就學、答錯就不學，反覆迭代。
- Quiet-STaR
- Eric 在 Stanford 的最後一項工作，把類似 STaR 的方法用在一般文字預測，嘗試擴大到預訓練規模。
- xAI
- Eric 創業前任職的公司，主持人列出的經歷包括 Grok 2 的預訓練資料、Grok 3 的推理配方、Grok 4 的工具使用與 agentic 基礎設施。
- HLE
- Humanity's Last Exam，Eric 說自己花很多時間看這批題，其中有一大類是陷阱題。
- METR
- 以模型能自主完成多長的任務來衡量進展的基準，Eric 舉它說明業界重視的指標。
- jagged intelligence
- Eric 形容模型能力參差不齊：有些題連博士研究者都覺得不簡單，卻會被陷阱題絆倒。
- task-centric
- Eric 批評現有訓練與基準都以單一任務為單位，不考慮與人長期互動。
- Collab LLM
- Eric 提到學界探索多輪人機互動的論文之一，用模擬來訓練。
提到但沒有展開
- Eric 說有人之後發現大量取樣也行得通，是 STaR 之外處理「模型解不出來的資料」的另一條路。
- Eric 在博士班做過一項較少人知道的工作：訓練語言模型模擬不同類型的學生，再用來設計更好的測驗。