AlphaLab：把環境當成真正的資產

056Brendan Rappazzo20:062026-07-29 上架

Morgan Stanley's ALPHALAB: Multi-Agent Research Across Optimization Domains — Brendan Rappazzo

Brendan Rappazzo 介紹 Morgan Stanley 團隊自建的 auto research agent AlphaLab：三階段流程、遇到的失敗，以及為什麼他們改押評估與環境。

這場講了什麼

• 為量化研究自動化而生：Morgan Stanley 的 AI 研究團隊手上有不少形狀像 Kaggle 的問題，也有許多已上線、只要多跑幾輪就可能再榨出進步的演算法。Brendan 說自己從 2025 年 12 月的 Opus 4.5 搭配 Claude Code、Codex 這類 harness，才第一次覺得長時程任務做得動。
• 三階段 harness：先做研究，再自己建評估或回測，最後進入大量實驗。整個 harness 是自己寫的程式碼，沒有用現成的 agent 框架，用 functional tool calling 所以能換 OpenAI、Anthropic 或開源模型。
• 評估由建造者加兩位批評者把關：一個 agent 負責寫評估，另外兩個分別檢查概念錯誤與前視洩漏，以及寫單元與整合測試，有問題就退回，全部滿意才結束。
• 實驗像看板一樣運作：strategist agent 提實驗，worker agent 實作、送到叢集、看訓練曲線，再把事後分析交回 strategist。使用者可以取消卡片、自己加卡片，或和 strategist 對話來引導。
• 失敗讓重點轉向評估與環境：Brendan 認為 1.0 版有三個問題，也就是成果有多真實、設計選擇是否任意、企業與專家知識放在哪。答案都是自建評估與環境，環境同時是評估與強化學習的訊號。
• 價值在環境，不在 auto research 本身：Brendan 預期通用的 auto research 能力會變成商品，所以企業與專家的價值來自建環境，團隊也打算持續釋出成果。

影片從哪一段開始看16 段

1. 00:12團隊與動機團隊一半做學術、一半做內部應用，不少問題長得像 Kaggle，想靠自動化多跑幾輪榨出改進，也想把做給某個交易台的演算法移植到別的台。
2. 02:23為什麼是現在2025 年 12 月的 Opus 4.5 加上 Claude Code、Codex 之類的 harness，第一次讓長時程任務看起來可行，今年起團隊全力投入。
3. 03:13設計目標要能接上既有資料與回測，從只有資料路徑到已有評估都能跑，能換不同模型，也要隨模型變強而受益。
4. 04:18全場路線先講 4 月初釋出、附 40 頁報告並開源的 AlphaLab 1.0，再講之後遇到的失敗與改走自建評估與環境。
5. 05:30三階段與自寫 harness給資料與一句自然語言目標，harness 依序做研究、建評估、大量實驗，並全用自己的程式碼，整份由 Claude 寫成。
6. 07:21三個主要工具完整 shell 存取、網路搜尋，以及透過 Slurm 把訓練任務送上 GPU 叢集，模型只要寫設定就好。
7. 08:25研究階段像一份超級版的 CLAUDE.md，用待辦清單加上中途要離開就重新提示的機制，整理出足夠的脈絡，大約花三到四小時。
8. 09:47建造評估一個 builder 加兩位 critic，分別看概念與前視洩漏、以及程式測試，不滿意就退回修正。
9. 10:37大量實驗看板strategist 提實驗進看板，worker 實作、送出任務、看訓練曲線與結果後寫事後分析，使用者可隨時介入。
10. 12:26排行榜與介面排行榜依評估與保留的私有驗證集排名，可點進去從點子看到程式碼；另展示了第二版介面。
11. 12:59成果論文測了 CUDA kernel、交通時間序列與 Karpathy 式的 LLM 訓練速度；NVIDIA 主辦、把自家 Nemotron 微調成推理模型的 Kaggle 比賽，因為晚加入只跑了大約 10 輪，仍進前 12%；已有模型的改進正在進入風控與上線。
12. 14:16失敗與三個難題最難的問題上會失敗，成果有多真實、設計選擇是否任意、專家知識放哪裡，是 1.0 留下的三個問題。
13. 15:35從評估開始新版對評估很有主張：資料與說明進去，中間的 harness 只負責送出容器化的模型，使用者另外看私有排行榜。
14. 16:39環境與 meta harness約 10 到 20 個精心做的環境成為強化學習訊號，由 LLM 看軌跡來改進 harness，並用好的軌跡訓練開源模型。
15. 17:43把專家知識寫進環境好環境很難做，除了專有資料與可驗證指標，還有依研究流程對每次 rollout 評分的質性 rubric。
16. 18:31結論2.0 的核心是嚴格的環境與評估，中間放什麼並不重要；通用 auto research 會變商品，價值在環境。

值得記的話5 句

• LLMs aren't malicious, but they can make very silly mistakes.LLM 不是惡意的，但會犯很蠢的錯09:47

• you have to start with good eval.你得從好的評估開始15:50

• building environments, or at least good environments, is really, really hard work.建環境，或至少建好的環境，真的是非常辛苦的工作17:58

• my feeling is this ability to do general auto research I think will kind of become a commodity.我的感覺是，通用 auto research 的能力會變成某種商品18:47

• all of your value as an enterprise or human expert comes from building environments.身為企業或人類專家，你的價值全來自建環境19:04

名詞與人物8 個

AlphaLab

Morgan Stanley 團隊做的 auto research agent harness，用來自動化量化研究，1.0 版已開源

strategist agent

看過前面階段的脈絡後持續提出實驗點子的 agent，會根據各實驗的事後分析調整方向

worker agent

接手看板上的卡片，負責寫程式與 Slurm 設定、送出任務、看訓練曲線並寫事後分析

critic agents

評估建構階段的兩位檢查者，一個看概念錯誤與前視洩漏，一個寫單元與整合測試

Slurm

團隊用來管理 GPU 叢集的工具，讓模型只要寫設定檔就能申請硬體並送出任務

environment

這場的核心概念：固定格式的資料加評估，同時作為強化學習的訊號，Brendan 認為價值都編碼在這裡

meta harness

由 LLM 讀軌跡與結果、回頭改進 harness 本身的做法

Karpathy style

單一 agent 在迴圈裡反覆改進的做法，團隊在訓練 LLM 的速度任務上拿來當對照

提到但沒有展開

• 團隊也在收集開源模型的好軌跡，用 GRPO 或其他 on-policy distillation 方法動權重，Brendan 認為最強的組合可能是開源與閉源模型的搭配。
• Brendan 說通用 auto research 會變成商品，從 GLM-5.2 就已經看得出來。

Agent評估研究

在 YouTube 看原片 ↗