Zeta2 編輯預測模型的訓練流程

概要

• 小模型專做一件事Edit Prediction 每次按鍵都要跑，所以 Ben 的做法是微調一個小而專門的模型，只做這件事。
• 用大模型蒸餾出訓練資料把使用者同意提供的線上快照餵給 frontier model 當老師，再讓 Zeta2 這個學生模型學它的輸出；老師的壞預測會先經過靜態檢查與一道修補步驟。
• 資料管線全是 JSONL每個階段只是加欄位或搬欄位，Ben 說通常用 100,000 筆範例訓練一個模型，小實驗則縮到 10 到 50K。
• 用「定稿狀態」篩資料等使用者停止編輯那個區域，把最後的樣子存下來；再看模型的多次預測有沒有靠近它，離太遠的視為雜訊，介於中間、「差一點」的最有價值。
• 離線與線上指標並用離線用 held out 測試集、三個老師預測與 reversal ratio，線上則看實驗流量、acceptance rate、latency，並正在試 kept rate 與診斷錯誤數。

原話

• “It also needs to be very fast because it runs on every keystroke.”

  它也必須非常快，因為每次按鍵都會跑

  ▶ 00:39

• “if you ask them a hundred thousand times they're going to give you a hundred thousand one answers”

  問上十萬次，會得到十萬零一種答案；Ben 指的是 frontier model

  ▶ 01:30

• “eventually the user writes the answer.”

  使用者最後會自己把答案寫出來

  ▶ 03:46

• “We generally don't train off of the actual settled state just because it's still noisy.”

  我們通常不直接拿定稿狀態來訓練，因為它仍然有雜訊

  ▶ 06:42

• “because a lot of these have no one right answer”

  因為這類預測很多都沒有唯一正解

  ▶ 07:37

延伸

• 診斷錯誤數的做法是在預測前後各記錄一次錯誤數量，拿來判斷模型品質；Ben 說這項還在試。
• 「差一點」的那一區常包含學生模型訓練資料截止之後才出現的新函式，Ben 說這正是他們想收進訓練資料的。