小模型靠 RL 學會用工具

概要

• 不要一遇到瓶頸就換大模型Kobie 說企業常以為換更大的模型就會變聰明，但成本、速度、資安與資料控管都要考慮，所以他們想試的是用 RL 讓小模型達標。
• 問題出在行為，不是知識Kobie 認為 RL 適合改變模型的行為，而不是改它內部的知識；Berkeley 團隊把大模型對這類任務的過度配備稱為 Terence Tao effect。
• 大模型輸在沒有工具紀律2350 億參數的 Qwen3 在示範問題裡沒先查有哪些資料表就直接下查詢，查不到之後又猜了一次，最後編出一個答案。
• 成本不高用 GRPO 訓練 40 億參數模型，一次訓練 21 小時，每次花費低於 500 美元，pass at one 大約是原本的兩倍。
• 訓練後的行為變了小模型會先用工具列出資料表、查結構，查詢出錯時看懂錯誤並改用正確欄位。
• 意外的消融結果只用單表問題訓練效果最好，在更難的多表基準上也出現類似的翻倍，從 13.9% 升到 26.6%，Kobie 的結論是工具使用才是主因，推理不是。

原話

• “sometimes it's more like taking a sledgehammer to crack a walnut”

  有時候更像是拿大鐵鎚去敲核桃

  ▶ 06:10

• “RL does not have to be a very expensive thing to be able to get non-trivial performance gains.”

  RL 不必很昂貴，也能換到不小的效能提升

  ▶ 11:24

• “The reality is what it needed to do was to learn how to use tools.”

  實際上它需要學的，就是怎麼用工具

  ▶ 16:00

• “turned out it wasn't the reasoning that was the issue it was the tool use”

  結果問題不在推理，而在工具使用

  ▶ 17:56

延伸

• Kobie 提到 Snorkel 與 Agentica 各有一篇部落格文章，詳細說明這項研究。
• Kobie 說 OpenEnv 上的環境由 PyTorch 與 Hugging Face 的團隊合作，放在 Hugging Face Spaces 上。