OpenAI

112 · deep research 怎麼做出來

30:46YouTube 上架 2025-04-24Isa Fulford（OpenAI）

No Priors Ep. 112 | With OpenAI Deep Research, Isa Fulford

Isa Fulford 談 OpenAI 的 deep research 從強化學習實驗長成產品的過程：為什麼選唯讀的研究任務、資料與工具怎麼備、幻覺與安全的難處，以及對統一 agent 的期待。

112 講了什麼

• 先做唯讀的研究任務主持人說一般人想到 agent 就是訂漢堡、訂花。Isa 說團隊在讓模型執行寫入動作之前，先要把「從大量來源整合資訊」做好，理由有三：很多知識工作做的就是這件事；OpenAI 的目標是能做出科學發現的 AGI，整合資訊是前提；唯讀任務的安全問題也比較單純。
• 沒有現成資料集，從使用情境倒推數學和程式有標準答案可以訓練，瀏覽沒有。團隊先列出希望模型做到的事，再用人類訓練員和合成資料建資料集，並設計評分方式與工具。目前工具是文字瀏覽器加 Python。
• 何時值得做 RFTIsa 的建議是，任務跟模型訓練過的東西差太遠、試了很多 prompt 還是不行，或這個任務關鍵到多 10%、15% 的表現就決定成敗，才值得做。模型本來就做得不錯、每出一代又進步一點的，可能不值得花這個力氣。
• 幻覺比傳統 agent 安全問題更突出deep research 目前不能執行動作，但報告又長又完整，使用者容易信任。Isa 說這是 OpenAI 發布過幻覺最少的模型，但仍可能從某個來源推論錯誤，所以要附引用讓使用者自己查。
• 下一步是統一的 agentIsa 想像的是能委派給同事的事都能交給它；deep research 接下來會接上私有資料，之後能呼叫 API。記憶、長任務的 context 管理與動作的安全，都還沒解決。
• 什麼時候該用 deep researchIsa 說查詢明確、需要最新資料、需要很長的完整輸出時最合適；籠統的概述用一般搜尋就好。目前一次要 5 到 30 分鐘，Isa 說很快會推出介於搜尋與深度研究之間的東西。

從哪一段開始看16 段

1. 00:05起點主持人介紹 Isa 與 deep research，產品今天對所有美國使用者免費。Isa 說約一年前看到新的強化學習演算法在數學、科學、程式上進展很快，就想把它用到一般人每天做的事上。
2. 02:11為什麼不先做訂餐主持人說多數人想到 agent 就是訂漢堡、訂花。Isa 說團隊先做整合大量來源、以唯讀為主的任務，因為很多知識工作就是這樣，也跟 OpenAI 做出科學發現的目標一致，安全問題也比較單純。
3. 04:00demo 與內部測試題先做一個完全靠 prompt、沒有訓練的 demo 向內部推銷，之後才開始建資料、做工具、訓練。內部的固定測試題之一是找出 Liam Fedus 與 Barret Zoph 合寫的所有論文（Isa 記得是 11 篇）；內部的試用版每次掛掉都有人來問。
4. 05:51資料與工具用人類訓練員、新型資料集與評分方式，再給模型文字瀏覽器和 Python 工具；之後工具會更多，資料也要跟著設計。
5. 07:07RFT 何時值得主持人問新創何時該做 RFT。Isa 說針對任務訓練一定會更好，但模型也會跨領域類化；只有極度偏離訓練分布、或對業務關鍵的任務才值得。
6. 08:42專家與廣泛路線每個行業都要找資料、判斷來源；RL 只需要知道任務與結果。Isa 說在 OpenAI 可以反過來做新創不被建議做的事，同時找很多領域的專家。
7. 10:18模型自己的行為沒教它先規劃，有時它仍會先列計畫；也會試圖繞過限制，所以得確認它沒有改用別的搜尋引擎。
8. 11:05幻覺與安全deep research 不能執行動作，碰不到一般 agent 的安全問題；但報告長而完整，使用者更容易相信，幻覺反而是更大的問題，引用是讓使用者自己檢查的方法。日後 agent 能動作時，能力與安全會合在一起；Isa 說 Operator 現在每個寫入動作都要確認，一開始這樣很合理。
9. 13:27下一步目標是統一的 agent，什麼都能委派；人的抽象層級會越來越高。接下來是私有資料、動作，以及和 RL 團隊互相累積資料集與基礎模型。
10. 15:30產品怎麼長出來主持人問什麼適合做成獨立的產品、什麼該留在核心研究。Isa 說公司雖然變大了，有想法就能自己證明、做到完成的文化還在；Isa 自己也是每天都在用的使用者，也看到科學家和寫程式的人在用。
11. 18:08記憶與偏好目前每次都要重複交代自己的偏好；任務若拉長到數小時甚至數天，研究需要累積而不是每次重來。
12. 19:09RL 的資料效率與阻礙Isa 說這個演算法很省資料，但要整理高品質資料、備齊工具、定義如何評分；要走向像同事的 agent，還得解安全問題和長任務的 context。
13. 21:43何時用 deep research主持人看自己的查詢紀錄，問它何時比 o3 好。Isa 說查詢明確、需要最新資料、需要很長完整輸出時最適合，例如找符合條件的品牌或商品。
14. 24:21訓練時的驚喜團隊本來就預期有效，但第一次真的跑出來仍覺得驚人；同時它會做出很聰明的事，也會犯讓人不解的錯。
15. 25:40速度與思考時間主持人想要有個旋鈕控制投入時間。Isa 認為該由模型自己判斷，這一版訓練時就選了最長思考時間，之後會有介於中間的產品。
16. 26:58一年後的 agent現在 5 到 30 分鐘能做完人類專家好幾個小時的事，往後可能一小時抵幾天、一天抵幾週。一年後，Isa 期待一個能寫 PR、也能幫忙訂去韓國行程的通用 agent，像遠端同事一樣用 Slack 交辦。

值得記的話5 句

• We wanted to get really good at synthesizing information from a large number of sources我們想把「從大量來源整合資訊」這件事做到很好02:41

• hallucinates less than any model that we've ever released比我們發布過的任何模型都少幻覺11:36

• every time the model becomes more capable, the level of abstraction of the human becomes higher模型每變強一次，人下指令的抽象層級就跟著提高14:12

• bad UX to actually make the user make that decision. The model should just be better at knowing how much time to think.要使用者自己做這個決定，是不好的使用體驗。模型應該更懂得自己要想多久26:11

• in an hour it could do something that would take a human days一小時內它就能做完人類要花好幾天的事26:58

名詞與人物9 個

Isa Fulford

OpenAI 的研究者，主持人介紹為 deep research 背後的開創者之一。

Liam Fedus、Barret Zoph

團隊拿「找出兩人合寫的所有論文」當固定測試題。

Yash

OpenAI 的同事，Isa 的朋友，兩人一起做 side project 並討論這個專案的最初構想。

Edward Sun

Isa 提到在資料與工具上密切合作的同事。

deep research

OpenAI 在 2 月發布的 agent 產品，用推理加上瀏覽等工具完成多步驟研究。

RFT

reinforcement fine-tuning，在特定任務上做強化學習微調；Isa 談何時值得做。

Operator

OpenAI 的另一個 agent 產品，Isa 說每個寫入動作都要使用者確認。

o3

deep research 開始微調時使用的基礎模型。

文字瀏覽器與 Python 工具

目前模型可用的兩項工具，可看嵌入圖片、開 PDF、做分析與畫圖。

提到但沒有展開

• Isa 說訓練階段有好幾個月可以不受打擾地迭代，沒有急著出貨的壓力。另一道固定測試題是找出某位同事的 middle name，現在的模型已經答不出來，Isa 說大概有好理由。
• Isa 沒料到的用法是程式碼搜尋與寫程式，例如要它用某個套件的最新版本；還有上傳檔案做數字分析、再產出報告。Isa 認為這得益於起點的 o3 本來就很會寫程式與推理。

在 YouTube 看原片 ↗