哈利認為 o1 不是超級大突破，但是有意義的進步。他從 System 2 和 AlphaGo 講到 o1 可能的運作方式，也談算力分配，以及思考過程被隱藏的爭議。
重點
o1 的定位。網路上有人吹捧，也有人拿它跟 Claude 3.5 Sonnet 比，說差不多。哈利的看法是兩邊都看得不完整，o1 不是超級大突破，但是有意義的進步，而且指向很有潛力的未來。
缺的是 System 2。LLM 直接預測下一串字，等於全部用 System 1 在回答，所以簡單的邏輯題也會答錯。哈利認為 o1 是市面上第一個有 System 2 的模型，只是這個 System 2 還有點弱。
他自己的測試。寫程式時，條件很多的需求 o1 Preview 幾乎都做到，Claude 3.5 Sonnet 會漏掉三四個到一半的要求。把字全部打成錯字的亂碼中文丟進去，GPT-4o 和 Claude 3.5 Sonnet 都解不開，o1 Preview 想了 15 秒就翻對。
可能的運作方式。哈利推測 o1 把 AlphaGo 的 RL 加搜尋用在 LLM 上，由一個 proposer 提出想法、一個 verifier 評分。他強調 OpenAI 沒有公開細節，訓練那段是他的猜測。
算力會重新分配。他認為多出來的 RL 階段與多次推論會改變算力分配，推論速度變重要，ASIC 在這邊比 NVIDIA 的 GPU 有機會。
思考過程被藏起來。OpenAI 的理由是安全，哈利不買單，認為是怕被人拿去做 Distillation。他也點出 API 使用者看不到 chain of thought，就無法預測要付多少 token 的錢。
時間軸 點時碼從那一段開始
- 閒聊艾爾登法環這週照 YouTube 攻略先拿後期武器重玩艾爾登法環，結果誤殺 NPC 的同伴，氣到又封存。他覺得兩千塊買到一整個世界很划算，不用破關也值得。
- 大新聞週與他的立場OpenAI 釋出 o1 系列，評論兩極。他先講結論：不是超級大突破，但是有意義的進步。
- Scaling Law 與推理缺陷丟更多算力能讓模型變強，但 Scaling Law 不是萬靈丹。LLM 缺少通用的複雜推理能力，簡單的邏輯題也會答錯。
- System 1 與 System 2用《快思慢想》的說法解釋：LLM 全是直覺反應，所以研究方向是給它 System 2，o1 就是第一個有的。
- 從 Q-STAR 到 o1去年 11 月路透社爆料 Q-STAR，後來叫 Strawberry，最後是 o1。有 Preview 和 Mini 兩個，每週限用 30 次和 50 次。
- 使用體驗與官方展示回答前會顯示 Thinking 的大略步驟。他認為試用者的訪談短片太空泛，員工實測互動的影片比較有參考價值。
- 員工實測的題目OpenAI 員工拿草莓放進杯子的邏輯題、條件很多的遊戲程式測 o1。一般 LLM 給太多條件常會漏掉一兩個，o1 幾乎全部達成。
- 他自己比寫程式每個測試同步丟給 Claude 3.5 Sonnet。o1 Preview 幾乎把條件全部做到、少有 bug；Claude 3.5 Sonnet 常漏掉三四個到一半的要求。
- 錯字亂碼翻譯一串每個字都打錯、念出來才懂的中文，GPT-4o 和 Claude 3.5 Sonnet 都說是亂碼或亂翻，o1 Preview 想了 15 秒就解開。
- 適用範圍與 benchmark官方也說 o1 該用在需要複雜推理的問題上。benchmark 成績很強，他預期用 o1 的 AI coding agent 分數很快會往上衝。
- 命名與 Scalable 推理取名 o1 是因為 OpenAI 認為這是全新典範的開始。他們提出的兩張圖是說，推理能力也能靠算力持續放大。
- RL 與 Scaling 兩個陣營過去十年 AI 分成搞 RL 和搞 Scale 兩派，各自的代表是 DeepMind 與 Google Brain，後來合併成 Google DeepMind。
- RL 被打入冷宮Transformer 出現後大家轉向 Scale，RL 的 AI 雖然強，卻只能做單一領域的事，一直沒能跟 LLM 結合。
- o1 融合 RL 與 LLMRL 能讓 AI 探索人類沒走過的路，這正是想用在 LLM 上的能力。他認為 o1 成功把兩邊融合了。
- AlphaGo 的兩個網路AlphaGo 有 Policy Network 和 Value Network，訓練先學大師棋譜，再靠自我對弈的 RL 變得比大師強。
- 探索與 reward function自我對弈要在探索新下法與用既有知識之間取捨。RL 難跨領域，因為每件事的 reward function 都不同，日常多數事情也很難定義。
- Monte Carlo Tree SearchPolicy Network 先提出幾種下法，展開成一棵樹，再由 Value Network 評勝率，累加回最初的幾種下法，挑勝率最高的。
- o1 推論時的做法他推測 o1 把問題拆成多個步驟做 chain of thought，由 proposer 與 verifier 搭配搜尋，具體用哪種搜尋方式外界不知道。
- RL 訓練與算力占比難的是怎麼判斷 chain 好壞、選哪些題目訓練，這是 OpenAI 的秘方。他估計 pre-training 以後也許約 60%、RL 近 40%。
- NVIDIA 與投資提醒推論變多變複雜，速度更重要，他提到 Cerebras、SambaNova、Groq 在這邊做得很快。最後提醒投資要謹慎。
- 為什麼隱藏 chain of thought我們看到的是另一個小模型整理的摘要。哈利認為安全只是藉口，真正原因是怕被 Distillation，並說明對 API 使用者的不便。
- 不要小看 Google他認為 Google 手上有 Brain 與 DeepMind 兩邊的實力，雖然保守文化是個問題，應該很快會出類似 o1 的產品。
- 讓模型想好幾個禮拜他轉述 Noam Brown 在 X 上說，未來要讓 o1 想一整天甚至好幾個禮拜去解一個問題。哈利覺得如果能換到常溫超導體這種解方就值得，o1 可能是第一步。
值得記的話
▶ 07:57「這並不是一個超級大突破但他絕對是一個有意義的進步而且他指向一個非常非常有潛力的未來」
▶ 15:36「市面上第一個有 System 2 的模型雖然說他的 System 2 是有一點點弱」
▶ 28:17「你只要往前看一兩步你立刻就會發現說這些東西 LLM 很快就會全部解決了」
▶ 38:22「讓他能夠打破訓練資料的框架讓他能夠超越人類」
▶ 55:58「我覺得這些 AI lab 他們不想公佈任何東西的時候他們就是用一個安全作為藉口」
名詞與人物
- o1 / o1 Preview / o1 Mini
- OpenAI 這週釋出的新系列模型，Preview 與 Mini 先開放，o1 本身還在開發。
- Q-STAR / Strawberry
- 同一個計畫在不同時期的名稱，最後的產品就是 o1。
- System 1 / System 2
- 取自《快思慢想》，直覺反應與需要一步步推導的思考。
- Scaling Law
- 丟越多算力，模型表現可預期地越好。
- Chain of Thought
- 思想鏈，把問題拆成步驟再回答。
- Test Time Compute
- 回答時花更多算力思考，OpenAI 說思考越久結果越好。
- Reinforcement Learning（RL）
- 增強式學習，讓 AI 自我探索，用好壞結果學習。
- reward function
- RL 用來判斷結果好壞的函式，下棋容易定義，寫哲學短文很難。
- AlphaGo
- 2015 年打贏人類棋王的 AI，由 Policy Network 與 Value Network 組成。
- Monte Carlo Tree Search（MCTS）
- AlphaGo 把下法展開成樹，再用勝率挑出最佳一步的搜尋演算法。
- proposer / verifier
- 哈利推測 o1 中提出想法與評分的兩個角色，對應 AlphaGo 的兩個網路。
- Distillation
- 讓小模型模仿大模型，近來很多小模型都這樣做出來。
延伸
- 哈利提到科技浪 EP16 就用 Q-STAR 猜測過這個方向，講了 System 1 與 System 2、AlphaGo 等概念。
- 他說有一篇 Google 談 scaling test time compute 的論文，放在本集資訊欄最下方。
- Alpha Geometry 與 Alpha Proof 是用 RL 訓練的 AI，在數學奧林匹亞差一兩分拿金牌，但只能解特定領域的題目。