從 API 走向自己微調模型

概要

• 模型光譜的兩端Benjamin 把一端放 Frontier API，另一端是自己訓練、自己管整套基礎設施。前者除了 prompt engineering 幾乎不能客製，後者要負責整個技術堆疊。
• 中間地帶正在出現Benjamin 認為開源函式庫加上新型態的雲端平台，讓人可以掌控演算法本身，又不用自己管叢集，同時保有 Frontier API 那種快速迭代。
• 產品專門化只是時間問題Benjamin 的 hot take 是，只要產品有差異化，它就是客製的，差別只在什麼時候跨過那條線。
• 幾個該考慮微調的訊號用了 caveman mode 還是付給 API 比客戶付給你的多、延遲與吞吐量達不到要求、evals 到了瓶頸。反過來，沒有收集資料也沒有成熟的 evals，就還不是時候。
• 已有的東西就是訓練素材做過產品的人多半已經碰過訓練需要的每一樣東西；有 agent harness 和評估資料，就有讓模型用 reinforcement learning 學會提供服務的材料。
• 程式量沒有想像中大Benjamin 說 supervised fine-tuning 和 RL 都可以用 300 行程式碼做到，RL 的 rollout 可以平行跑在大量 sandbox 上。

原話

• “it's just a matter of time until your product steps into being domain-specific.”

  你的產品變成領域專用，只是時間早晚的問題

  ▶ 05:46

• “if you have garbage data, it's garbage in, garbage out.”

  資料是垃圾，出來的就是垃圾；Benjamin 先說這是訓練領域沿用數十年的老話

  ▶ 06:54

• “you probably have at least touched all of the things you need to train”

  做過產品的人，多半已經碰過訓練需要的每一樣東西

  ▶ 07:11

• “you can do supervised fine tuning in 300 lines of Python.”

  用 300 行 Python 就能做 supervised fine-tuning

  ▶ 08:36

• “customers scaling up to 50,000, 100,000 sandboxes just to do RL.”

  有客戶為了做 RL，把 sandbox 擴到 5 萬、10 萬個

  ▶ 10:35

延伸

• Benjamin 說很多人剛開始訓練模型時，梯度要手算、線性代數要自己實作；現在除非模型很特殊，已經不用這樣做。
• Pinterest 的說法是微調帶來好幾個數量級（orders of magnitude）的改善，確切數字 Benjamin 也不清楚。