任務品質高低，訓練成效差五倍

概要

• 資料品質是公司的核心主張Kobie Crawford 說 Snorkel 自 2019 年成立以來，一直認為資料品質至關重要。這場想用實驗驗證，任務品質是否真的會影響訓練結果。
• 四項驗收標準任務要能完成、不是太簡單、邏輯正確，而且環境穩定可靠。四項測試全過的任務算「accepted」，沒過的進「rejected」。
• 通過驗收的任務比較難Snorkel 用 Sonnet 4.5 與 Codex 跑這兩桶任務，accepted 任務的 tool call 平均多一倍，通過率較低，輸出的 token 也比較多。
• 失敗比較有意義Snorkel 把失敗分成模型真的沒做對，和環境問題讓任何模型都不可能做完兩類。Kobie 的結論是 accepted 任務產生的失敗比較「乾淨」，比較適合拿來讓模型練習。
• RL 訓練相差約五倍同一個模型、同樣的運算預算，低品質任務只讓基礎模型進步約 1%，高品質任務進步約 6%。
• Q&A 談到雜訊與評分被拒絕的任務常見問題是規格不清、測試藏有隱含依賴；評分上，Snorkel 用 rubric 讓人類標註者與 LLM judge 對照一致性。

原話

• “the core thesis has been that the quality of data is critical”

  核心主張一直是資料品質至關重要

  ▶ 01:11

• “our accepted tasks averaged twice as many tool calls demonstrating more difficulty”

  我們通過驗收的任務，tool call 平均多一倍，顯示難度更高

  ▶ 05:40

• “the accepted tasks are producing cleaner failures”

  通過驗收的任務，產生的失敗比較乾淨

  ▶ 08:00

• “the improvement was about a six percent improvement with the higher quality tasks”

  高品質任務帶來約 6% 的進步

  ▶ 09:45

• “the expert in the loop is an important element of delivering data quality”

  專家參與是確保資料品質的重要一環

  ▶ 10:25

延伸

• Snorkel 的源頭是 Stanford 研究室的研究，原本是執行長博士論文的一部分，先成了開源函式庫，之後才轉向替客戶交付資料集。
• Kobie 承認架構與 harness 的改變也會影響結果，但 Snorkel 的立場是，這一切底下的核心仍然是資料品質。
• 談標註一致性時，Kobie 同意任務的時間跨度越長、步驟越多，評分就越難一致；在這次研究這種測試只有過或不過的領域，相對容易。