o3 如何學會用工具思考

113 · o3 如何學會用工具思考

38:10YouTube 上架 2025-05-01Eric Mitchell & Brandon McKinzie（OpenAI）

No Priors Ep. 113 | With OpenAI's Eric Mitchell and Brandon McKinzie

Eric Mitchell 與 Brandon McKinzie 談 o3 和以往模型差在哪：靠 RL 訓練、會用工具延長思考，以及怎麼判斷任務難度、資料與 evals 的需求。

113 講了什麼

o3 是會先想、也會用工具的模型o3 是 o 系列最新的模型，回答前先思考，還能瀏覽網頁、寫程式並執行。遇到「對某家公司做 due diligence、跑預測模型、寫摘要」這類高階請求，模型會自己推出該做哪些步驟，使用者不必一步一步交代。
最大的訓練差異是 RL被問到跟 GPT 系列的訓練差在哪，其中一位的簡答是 reinforcement learning。目標不再只是在大型語料上預測下一個 token，而是解很難的任務，需要想多久就想多久。
工具讓 test time scaling 延續下去沒有工具時，模型想到某個程度會在 chain of thought 裡空轉。視覺推理的例子裡，有工具和沒工具的 test time scaling 斜率明顯不同；寫程式則可以用簡單程式取代模型硬算。
思考時間與模型選擇最好由模型決定其中一位說 ChatGPT 的 model switcher 選項太多，使用者很難知道該挑哪個；希望模型更清楚自己的不確定程度，知道答案就直接講，要花一天才想得出來就花一天。API 場景則要能告訴模型別想太久，那是 steerability 的問題。
任務難度看兩個面向Eric 的看法是，一要看得跟多少外部環境的不確定性打交道，二要看能不能模擬、是否被現實世界的速度拖慢。這麼多人做 coding agent 不是巧合，robotics 則又難又慢。
evals 被低估，輸出也有分布被問到最想要什麼資料，其中一位先答 uncontaminated evals，因為最近的模型已經把幾個可靠的 eval 解掉，能追蹤的不多了。使用上的建議是同一個 prompt 送很多次，看輸出的分布，不要只比一次就下結論。

從哪一段開始看13 段

00:00開場與 o3 簡介主持人介紹 Brandon 與 Eric 是 o3 背後的兩位研究者。其中一位說 o3 是先思考再回答的推理模型，比之前的 o 系列更聰明，還會用工具處理多步驟任務。
03:10訓練方式的差別主持人問跟 GPT 系列怎麼訓練不同。其中一位答最大的差別是 RL；接著談到沒有工具時，模型想到某個程度就在 chain of thought 裡空轉，有了工具，等待才值得。
04:45快慢模型與模型統一主持人問會不會分成快又便宜、與想一天的兩種模型。其中一位說 model switcher 太雜，希望把這個選擇放進模型裡，也希望模型更懂自己的不確定程度。
08:55工具為什麼有用主持人問工具為什麼讓 test time scaling 更有效。視覺推理時，模型知道自己看不清楚，有工具就能裁切、操作圖片；寫程式則是把模型不擅長的部分交給工具。
11:01deep research 與瀏覽主持人問 deep research 有沒有特別的訓練。其中一位說 browsing 是工具使用最自然的起點，也適合測試 RL 能不能學到較長時間的行為；RL 說到底是在定義目標，可以照預期的使用者調整，例如要不要等 30 分鐘、報告要一頁還是五頁。
13:54近期的應用場景其中一位點名 coding 與研究，說模型已經有用到一天要找好幾次。主持人提到用 AI 做下一代 AI，其中一位說研究包含硬體、訓練、評估等許多部分，每一塊都能變成可以優化的任務。
16:14computer use 與限制其中一位希望模型整天在電腦上看著自己做事；Eric 說目前刻意限制 affordances，因為錯誤的成本不對稱，要邊部署邊找出可靠的範圍。
18:50判斷任務難度主持人問有沒有心智模型。Eric 說有兩個面向：要面對多少外部環境的不確定性，以及能不能模擬、是否受現實世界的慢速限制。
21:59機器人與通用模型主持人問 robotics 模型會不會併進通用模型。其中一位看不出為什麼不能是同一個模型；接著談到真實世界有自己的 frame rate，球飛過來了，不能想兩分鐘再接。
25:18模擬人類協作主持人問長時間的軟體工程任務要跟人互動，該怎麼模擬。Eric 提出可以先讓模型彼此合作，multi-agent RL 已經有很多文獻；也有人希望能在模型思考到一半時叫它停，讓它當場學到。
29:28能力會變得參差嗎主持人問能力是不是會比較不均，因為要靠研究團隊決定在哪些領域做 RL。其中一位承認有結構性的原因，但舉 Sam 貼出的創意寫作為反例，認為說模型只會數學與程式是過頭了。
32:21理想資料與 evals主持人問如果能變出一份完美的資料，會是什麼。其中一位先說 uncontaminated evals；訓練資料則要在能力的下一個前沿，例如多輪的使用者互動，加上在百萬行 codebase 裡加新功能、要好幾個 PR 的兩週任務。
34:44怎麼用推理模型主持人問有什麼用法是一般人做得不夠的。其中一位建議同一個 prompt 送很多次，看輸出的分布。主持人想要一個每次自動跑 100 次再排名的按鈕；還有一種用法是把模型當背景的工作佇列，有難的程式任務先丟給它試。

值得記的話5 句

you can just allocate compute a lot more efficiently because you can defer stuff that the model doesn't have comparative advantage to doing to a tool運算可以分配得有效率得多，因為模型沒有比較優勢的事可以交給工具10:46
how much uncertainty with the environment do I have to like wrestle withEric：要解這個任務，我得跟環境裡多少的不確定性搏鬥？19:54
Yeah, we are a super expensive tool call.我們人類就是一次超貴的 tool call28:24
Send the same prompt many many many times to the model and and get an intuition for the distribution of responses you can get.同一個 prompt 送給模型很多很多次，感受一下回答會怎麼分布34:44
the peak performance is really impressive, but there is a distribution of behavior最好的表現確實很驚人，但它的行為是有分布的35:31

名詞與人物11 個

Eric Mitchell: OpenAI 研究者，o3 背後的成員之一，以前做過 robotics。
Brandon McKinzie: OpenAI 研究者，o3 背後的成員之一。
o3: OpenAI 的推理模型，先思考再回答，並會用工具。
o series: OpenAI 專注於回答前先仔細思考的一系列模型。
test time scaling: 讓模型在推理時想得更久、換更好的結果。
tool use: 模型呼叫瀏覽、寫並執行程式等工具。
deep research: 主持人常用、建立在 o3 上的研究型產品，會上網查資料、整理並畫圖表。
reinforcement learning (RL): 訓練 o 系列與以往模型的最大差別，用目標引導模型解難題。
model switcher: ChatGPT 裡讓使用者挑模型的選單。
chain of thought: 模型回答前的內部推理過程。
uncontaminated evals: 沒被訓練資料污染的評測，其中一位認為一直很有價值，也常被忽略。

提到但沒有展開

主持人提到 GitHub Copilot 上線時用的是專門的 Codex 程式模型，後來被通用模型取代。
Brandon 說模型看時鐘很愛答 10:10，因為網路上大概九成以上的時鐘圖都是這個時間，看起來像笑臉；Brandon 的解讀是人的視覺是跟外在世界互動長出來的，模型學視覺的方式完全不同。
主持人舉青蛙、螞蟻這類小腦袋生物，說它們在真實世界裡反應很好，問真實世界任務需要的基本能力有多少。

在 YouTube 看原片 ↗

OpenAI