評測有缺陷，照樣要用

概要

• 兩種人都用錯評測Ara 認為一派把排行榜數字當真，另一派只看感覺；自己的立場是評測不是全部，也不是無用，關鍵在用法。
• 讀別人評測的三條心法不要相信模型公司自己公布的數字；新模型出來先等幾週再換；找又新又精準的評測，因為標準化的老評測常已失去參考價值。
• Cline 自己建評測當時可用的評測很少，也測不到日常寫程式的工作，所以 Cline 用願意分享使用資料的用戶資料，花了大量人工整理出貼近真實的題目。
• 跑法是平行加看軌跡每題在隔離環境裡跑，用 Harbor 搭配 Modal 把 89 題同時跑完，再讓另一個 agent 讀失敗案例的軌跡，找出能改的小地方。
• 分數同時在測三件事模型本身、harness，以及題目是否合理。Ara 提醒題目不合理的話，拿滿分也沒有意義。
• 爬坡分三區先修明顯的缺陷，再做細緻的調整，最後一區是過度擬合。Ara 的結論是分數與使用手感兩者都要過關。

原話

• “I want you to be right about evals.”

  我希望你們對評測的看法是對的

  ▶ 01:04

• “Let things set on fire for a couple of weeks.”

  讓新東西先燒個幾週，撐得住再說

  ▶ 05:02

• “So yeah, so the slowest task is the limiting factor.”

  最慢的那一題決定整體時間

  ▶ 12:59

• “If you're solving stupid problems, it doesn't matter if you score 100% all the time.”

  題目本身蠢的話，每次都拿滿分也沒意義

  ▶ 14:38

• “You can't just have a good number and be happy with it.”

  不能只拿到好看的數字就滿足

  ▶ 17:16

延伸

• Cline 起初的立場跟 Codex 團隊和其他聊過的團隊一樣：靠手感，評測可以不管。去年才轉念，決定別人不做，就自己從頭建。
• 讓模型多想不一定有幫助：Ara 看過模型陷入打轉，同一句話重複了兩千個 token，所以調整思考行為時要一併考慮。