RLHF 之後：從助理走向自動化

079Diogo Almeida（TypeSafe AI）18:042026-07-31 上架

What's Next After RLHF? — Diogo Almeida, TypeSafe AI

InstructGPT 與 ChatGPT 的共同作者 Diogo Almeida 用 RLHF 的設計目標，解釋為什麼現在的 AI 很會陪人工作、卻很難真正自動化，以及下一步該往哪裡走。

這場講了什麼

• 兩派極端看法的共同解釋：AI 一邊刷新各種 benchmark，一邊連客服都還要人盯著。Diogo 的解釋是，表現好得離譜的那些任務，目標本來就是討好迴圈裡的人；做不好的那些，目標是把人移出流程。
• RLHF 把人放進了迴圈：RLHF 就是收集人類偏好、再為偏好最佳化，目標從來不是讓軟體自己跑。所以過度承諾是設計出來的：「人喜不喜歡」跟「結果好不好」之間永遠有落差，模型再錯看起來都會是對的。
• Claude Code 還在助理時代：Diogo 把 Claude Code 跟 ChatGPT 算在同一個時代，因為 Claude Code 也還是 RLHF 的產物。
• 軟體本身沒變聰明：SaaS 從 2019 年以來幾乎沒變，LLM 時代多半只是在旁邊掛個聊天機器人，或讓軟體寫得更快，軟體能表達的東西還是一樣。
• 下一步是自動化：Diogo 說 RLHF 不算錯，但是一段奇怪的岔路；明天的 AI 會為自動化而生，TypeSafe 在做的就是為可靠度與自動化重新設計 AI stack。
• 問答裡談預訓練與幻覺：Diogo 認為預訓練沒有問題，問題在怎麼把能力挖出來；幻覺則是為人類偏好最佳化本來就會帶來的。

影片從哪一段開始看13 段

1. 00:12開場與背景Diogo 說這場其實該叫「ChatGPT 時代之後是什麼」，而答案不是 Claude Code 時代；自己是 GPT-4、ChatGPT、RLHF／InstructGPT 的共同作者，也是少數對 ChatGPT 有意見的 OpenAI 人：產品很好，但領域現在的狀態可以追回當初做演算法時的幾個小決定。
2. 01:50兩派極端看法一派認為 AI 進展快到每個 benchmark 都超越人類；另一派認為 AI 是泡沫、幾乎沒創造價值，只是循環融資。中間幾乎沒有人。
3. 03:29落差要怎麼解釋Diogo 想找最簡單的解釋：為什麼有些任務好到不像真的，有些看起來簡單得多的工作，例如客服，卻還要人在迴圈裡做決定。
4. 04:19助理與自動化表現好的那些任務，目標就是討好迴圈裡的人，Claude Code 的工作也不只是讓程式能跑；做不好的那些，目標是把人拿掉、讓它在背景跑到變成沒人管的老系統。第一課：現在的 AI 擅長前者、不擅長後者。
5. 05:22企業的應對方式企業學到的教訓是別讓 AI 做會讓公司承擔風險的決定，常見做法是把成本都推給使用者，Diogo 說這是很糟的模式，卻是現在的常態。
6. 05:58RLHF 的目標現在幾乎所有 LLM 都用 RLHF 訓練，它就是收集人類偏好、再為偏好最佳化；LLM 之所以需要人在迴圈裡，是因為當初就把人放了進去。
7. 07:04過度承諾是設計主要目標是人類偏好，所以 RLHF 模型的「人喜不喜歡」跟「結果好不好」之間永遠有落差，不確定時會往討好人的方向錯。第二課：現在的 AI 是為助理而設計的。
8. 08:47為什麼不是 Claude Code 時代Claude Code 還是 RLHF，純用 RLVR 做出來會長得很不一樣；模型有時 agentic 能力變很強卻不照你要的做，是同一組取捨在來回擺盪，兩邊都沒有推進自動化。
9. 09:54軟體該更聰明SaaS 幾乎沒變，只是旁邊掛個聊天機器人；早期 OpenAI 的 charter 談的是做大量的工作，當時以為軟體會變聰明，而不只是更便宜寫。Diogo 想要的是更有表達力的軟體。
10. 12:15第三課與 TypeSafe明天的 AI 會為自動化而生，現在真正被自動化的工作只是捨入誤差；TypeSafe 還在 stealth，在想如果 AI stack 為可靠度與自動化重新設計，會變成什麼樣子。
11. 13:57問答：預訓練與幻覺有聽眾問在預訓練階段就訓練分類器頭的做法；Diogo 說預訓練很了不起，問題在怎麼把能力挖出來，幻覺來自 reward model 的不對稱：模型沒把握很容易被看出來、被懲罰，於是學會顯得有把握。
12. 15:30問答：下一個分支下一步絕對不是 RLVR；Diogo 的看法是資料比算力重要，做對的任務又比資料重要，而每一條 post-training 分支都有自己最佳化的目標：RLHF 是人類偏好，RLVR 是校準過的決策。
13. 16:53問答：連 API 都不一樣有聽眾問 reward 是否貫穿整個流程；Diogo 說 RLHF、RLVR 跟他們在做的東西連 API 的形狀都不同，新的 post-training 分支一開始總是看起來很陌生，事後才顯得理所當然，就像 instruction following。

值得記的話5 句

• The goal of the loop is to optimize for human preference.這個迴圈的目標就是為人類偏好最佳化06:32

• no matter how wrong the models are they will look right不管模型錯得多離譜，看起來都會是對的08:28

• I wouldn't say RLHF is a wrong, but it was like a weird detour我不會說 RLHF 是錯的，但它像是一段奇怪的岔路12:33

• I actually don't think pre-training is the problem.我其實不認為預訓練是問題所在14:28

• hallucination to me is intrinsic to optimizing for human preference.對我來說，幻覺是為人類偏好最佳化本來就會帶來的14:43

名詞與人物7 個

RLHF

收集人類偏好、再為偏好最佳化的 post-training 方法，Diogo 說現在幾乎所有 LLM 都用它

RLVR

另一條 post-training 路線，Diogo 說它最佳化的是校準過的決策，也不是下一步

InstructGPT

RLHF 的早期成果，Diogo 是共同作者

TypeSafe AI

Diogo 所在的公司，還在 stealth，要為可靠度與自動化重新設計 AI stack

assistance 與 automation

這場的主軸：前者的目標是討好迴圈裡的人，後者是把人移出流程

reward model

RLHF 裡給輸出打分的模型，Diogo 說它的不對稱會鼓勵模型顯得有把握

bitter lesson

Sutton 提出的觀點，Diogo 說它在遊戲裡成立、在現實不成立，自己的版本是資料比算力重要、做對的任務又比資料重要

提到但沒有展開

• Diogo 舉了一則推文：有人把放屁音效傳給 ChatGPT，問「你覺得我做的音樂怎麼樣」，它回了一段認真的樂評。Diogo 說這就是 RLHF 的運作方式，不確定時會往討好人的方向錯。
• Diogo 說我們正進入 just-in-time software 的黃金時代，但這是兩面刃：自動化的只是寫軟體這件事，軟體能表達的東西沒變。

模型研究產業觀察

在 YouTube 看原片 ↗