自動研究 agent 打進競賽排行榜

018Zhengyao Jiang（Weco）16:162026-07-16 上架

How Autoresearch is changing ML research — Zhengyao Jiang, Weco

Zhengyao Jiang 拿 Weco 的 AIDEN 參加 OpenAI 的 ParameterGolf，看它創下多少紀錄、哪些點子來自人類，並談 eval 與程式抽象為什麼是新的關鍵技能。

這場講了什麼

• agent 在競賽裡拿下七筆紀錄：AIDEN 在 ParameterGolf 跑了約 22 天，創下 7 筆排行榜紀錄，最好的人類參賽者只有 3 筆。Zhengyao Jiang 另外用 H-Index 衡量社群有沒有採用它的成果，AIDEN 是 10，次高的人類是 7。
• 效率比規模更重要：AIDEN 在單一 H100 節點上跑了約 1,300 個實驗，只用了競賽總算力的至多 4%，卻做出約 15% 的紀錄；提交的成果有 28% 進了排行榜，Zhengyao Jiang 說這個命中率約是社群平均的六倍。
• 點子多來自人，agent 擅長整合與落實：AIDEN 的紀錄 PR 幾乎都源自其他參賽者或類似社群的想法，有些甚至只是別人放棄時留下的筆記。Zhengyao Jiang 認為 agent 強在把這些點子實作出來、在龐大的搜尋空間裡找到對的組合，自己原創的只占很小一部分。
• 做 auto research 像訓練模型：程式碼的抽象決定 agent 能探索的範圍，eval 則像 loss function 與資料，決定它往哪個方向最佳化。握有專有資料或領域判斷力的人，能靠 eval 建立護城河。
• 嚴格的抽象能擋掉資料外洩：在一條詐欺偵測的前處理流程上，寬鬆 API 讓訓練與測試資料共用同一個函式，分數很漂亮卻有外洩；改成測試資料碰不到訓練端的嚴格 API 後，外洩率降到零。
• 人類往上移，不是退場：搜尋被自動化後，創意與設計 eval 的判斷力會更重要，Zhengyao Jiang 說駕馭這類系統是一兩年前幾乎不存在的新技能。

影片從哪一段開始看15 段

1. 00:12招募賽的意外冠軍OpenAI 的 ParameterGolf 招募賽收到 2,000 份提交，只有 47 份通過審查進榜，其中 7 份來自 agent，Weco 的 AIDEN 是貢獻最多的一方。
2. 01:18想問的問題與其只讓 agent 在本地爬分數，不如問它能不能產出社群認可、別人能 merge 與 fork 的成果，所以做了會自己發表成果的 agent。
3. 01:52Weco 與 AIDENZhengyao Jiang 介紹 Weco 是約兩年半前成立的 auto research 公司，AIDEN 是多 agent、能自我改進的實驗原型，成果通過品質門檻才送出 PR。
4. 02:3222 天七筆紀錄AIDEN 在競賽中跑了約 22 天，創下 7 筆經 OpenAI 認可的排行榜紀錄，最好的人類只有 3 筆。
5. 03:15H-Index 衡量影響力用學術界的 H-Index 看別人是否採用你的成果，AIDEN 是 10、次高的人類是 7，許多排行榜上的其他作品也建立在它的成果上。
6. 03:53為什麼這麼強約 1,300 個實驗、至多用 4% 的算力卻做出約 15% 的紀錄，28% 的提交進榜，勝在品質而不是平行規模。
7. 05:21人與 AI 貢獻不同追溯後發現 AIDEN 的紀錄 PR 幾乎都出自人類社群的想法，agent 擅長把被放棄的點子實作出來，原創的只占很小一部分。
8. 06:36三個點子的組合案例：先採用 Qwen 一篇論文的點子，卻撞上檔案大小上限，再補上量化機制，分數幾乎沒動；等到別人貼出 tokenizer 改進，三者合併後效果大幅跳升，成為一筆紀錄。
9. 08:41執行才是瓶頸這些做法聽起來不炫，多半只是紮實的執行，但實務上執行往往就是卡關的地方。
10. 09:29競賽設計的槓桿一群人加一個 AI 系統的模式下，單一工程師的貢獻未必變小，競賽本身的設計反而成為關鍵槓桿。
11. 10:04手寫程式碼的老爭論Zhengyao Jiang 引 Andrej Karpathy 約十年前的推文：gradient descent 寫的程式會比你好，當時是在反駁那些覺得手寫程式能贏過模型的人。如今沒人再這樣比，但軟體工程這份工作仍在，只是許多人的工作變成訓練模型。
12. 11:11像訓練模型的 eval做 auto research 很像訓練模型：程式碼抽象決定可探索的範圍，eval 如同 loss function 與資料，專有資料與領域判斷可以成為護城河。
13. 12:45程式碼抽象的偏向抽象是 auto research 迭代的框架，起點會大幅偏向搜尋方向，就像神經網路的架構設計讓某些函式更容易被學到。
14. 13:23詐欺偵測的外洩寬鬆 API 讓分數很漂亮卻有測試資料洩漏，改成嚴格 API 後外洩率降為零；Zhengyao Jiang 說 agent 真想鑽漏洞還是鑽得到，但好的抽象會把它帶向比較好的解。
15. 14:38新的技藝用 auto research 是替 agent 設計一座山丘去爬，創意與設計 eval 的判斷力會更重要，人是往上移而不是退場。

值得記的話5 句

• But in reality, execution is mostly the bottleneck.但實際上，執行大多才是瓶頸08:41

• A bad design can make the huge leverage in the auto-research era.在 auto research 的時代，糟糕的設計會把影響放得很大09:47

• Your eval is the loss function and the data.你的 eval 就是 loss function 和資料11:32

• It's about designing a hill for an agent to climb, and we are still very early on it.這是在替 agent 設計一座可以爬的山丘，而我們還很早期14:38

• The human would just move up the stack, not out of it.人只是往上移一層，而不是被擠出去15:12

名詞與人物6 個

ParameterGolf

OpenAI 在 4 月辦的招募賽，目標是訓練出最好的語言模型，有檔案大小限制，成果以 PR 提交並經 OpenAI 審查才能進排行榜

AIDEN

Weco 的多 agent、能自我改進的 auto research 原型，會讀論文與別人的 PR、自己跑實驗，成果過品質門檻才送 PR

Weco

Zhengyao Jiang 共同創辦並擔任 CEO 的 auto research 公司，約兩年半前成立

auto research

讓 agent 自動讀資料、跑實驗、提交成果的做法；Zhengyao Jiang 說過去人們也稱它為 machine learning engineering agent

H-Index

學術界的影響力指標，大致是有 X 篇論文各被引用 X 次就是 X；這場用來衡量其他參賽者採用 AIDEN 成果的程度

抽象與 eval

Zhengyao Jiang 的框架：程式碼的抽象決定 agent 能探索什麼，eval 決定它朝什麼最佳化

提到但沒有展開

• 案例中 AIDEN 在撞上 16 MB 檔案大小上限後，自己想出量化機制，是它少數原創的點子之一。

Agent研究評估

在 YouTube 看原片 ↗