Mercor

110 · 替模型出考題的人

41:52YouTube 上架 2025-04-10Brendan Foody（Mercor CEO）

No Priors Ep. 110 | With Mercor CEO and Co-Founder Brendan Foody

Brendan Foody 談 Mercor 如何用模型預測誰能把工作做好、各家實驗室為何大量找人建立 evals，以及失業、勞動市場與招人的判斷。

110 講了什麼

• 用模型預測工作表現Brendan 說 Mercor 訓練的模型，預測一個人在工作上表現如何，比人類更準。流程是把審履歷、面試、決定錄用全部交給 LLM，各大 AI 實驗室用它來招募數千名訓練模型的人。
• evals 是能力的上游Brendan 認為 reinforcement learning 越來越有效，只要有 eval，模型就學得會。實驗室想讓模型擅長什麼，就需要那方面的 evals，職缺從顧問、軟體工程師到電玩愛好者都有。
• 能用文字衡量的，模型已經很強Brendan 說只要是能用文字衡量的，模型就很強，面試逐字稿就是例子。比較慢的是多模態訊號，例如一個人有多熱情、多會說服人。高重複量的流程也會先被自動化，因為容易把背景和表現對起來。
• 失業來得快，也會很痛Brendan 認為許多職位的取代會很快發生，成為大的政治問題，也會引發民粹運動。客服與招募已經看得到，更多會在經濟緊縮時跟著出現。
• 評估要從考題轉向真實工作過去的 eval 多半是 zero shot 的考題。Brendan 說真正要評的是有經濟價值的工作，接下來會需要大量替 agent 建的 eval，而這正是自動化大部分知識工作的最大障礙。
• RFT 讓客製化變得可行Brendan 說用 SFT 做客製化一直沒起飛，因為太耗資料。reinforcement fine-tuning 是定義想要的結果再獎勵模型，非常省資料，終於讓應用層客製模型說得通；主持人補一句，那是數百到數千個範例的量級，Brendan 同意。

從哪一段開始看19 段

1. 00:05開場與 Mercor主持人介紹 Brendan 與 Mercor。Brendan 說公司訓練模型預測一個人的工作表現，並把審履歷、面試、決定錄用都自動化。
2. 01:06實驗室要找什麼人凡是有經濟價值的能力都需要 evals。Mercor 一開始和 human data 無關，後來發現市場正從群眾外包轉成找最強的人和研究員合作。
3. 02:56模型評人與冪次分佈Brendan 說多數 evals 裡模型已比招募主管更會評估人才，並談知識工作的冪次分佈：投資最明顯，工廠工人最小，軟體工程在中間。
4. 05:14模型擅長與不擅長評估什麼文字能衡量的模型很強，多模態訊號較慢。高重複量、同一個職位的流程，因為容易歸因，會先被自動化。
5. 07:04工程師的隱藏訊號工程師在網路上的 GitHub、個人專案、部落格沒被善用。另一個例子是住在海外、但到西方國家留學的人，合作與溝通往往較好。
6. 09:58失業與重新分配Brendan 預期取代會很快也很痛，並擔心財富如何重新分配。被取代的人可能轉向實體世界、利基工作或需要人際互動的工作。
7. 11:47該投資什麼能力Brendan 引述 Sam Altman 的說法，認為要有彈性、學得快。可驗證的領域，如數學和程式，會被很快解決；像創辦人的品味這類不可驗證的較難。
8. 14:07評估危機與 agent evals以往的 eval 多是考題，要改評真實的經濟價值工作。客服這類同質任務是起點，軟體工程這種多樣任務要花多年才建得完。
9. 16:28孩子要不要學程式Brendan 不會特別推孩子學電腦科學，更鼓勵找感興趣的領域學通用推理，並說品味可以用貼近工作的題目和思考過程來打分。
10. 19:06資料工作的規模Brendan 預期為各行各業建立 evals 的人會非常多，可能成為世界上最常見的知識工作，主持人則提醒這等於讓人替自己被取代而工作。
11. 20:08超智慧與 eval 的天花板從 Nyquist 取樣的比喻，談沒有 eval 基線就難知道超智慧。Brendan 說建 eval 是一次性的固定成本，專家仍要把關模型自己訂的標準。
12. 23:42專家的報酬與角色Brendan 預期收入會更偏冪次分佈，頂尖專家拿得很高；在範圍窄的任務由頂尖專家把關，更廣的 agent 任務則由接近平均的人貢獻更久。
13. 25:32沒人預期的轉變、UBI 與法規Brendan 認為大家低估取代速度，也很少想人在十年後的位置。主持人談各行業早已是變相的 UBI，並問 evals 會不會被立法禁止。
14. 29:12AI 當管理者Brendan 認為 AI 可能很快就更擅長當管理者，而不只是個人貢獻者。主持人希望助理能替自己排好優先順序；Brendan 接著說模型考試很強，卻還做不好基本的個人助理工作。
15. 31:01RFT 與客製化少量的 agent evals 加後訓練就夠，模型需要學的是工具怎麼用和各公司的知識。Brendan 解釋 RFT 與 SFT 的差別。
16. 33:22Mercor 接下來的重點一是把最聰明的人都帶到平台上，並用免費工具撐起供給端；二是績效預測的 data flywheel。
17. 35:11全球統一的勞動市場Brendan 認為勞動市場最大的低效率是碎片化。以軟體的成本解決配對問題，就會出現全球統一的勞動市場，也可能同時包含 AI agent。
18. 36:28新創怎麼招人早期員工一律以品質優先，規模化後要用數據定義什麼人會帶來成果。主持人談 Google 善於招人、Facebook 善於淘汰。
19. 38:19招人的代理指標長期結果的職位只能找代理指標，如推薦人和 work trial。Brendan 也談為何 LinkedIn 等舊做法不夠，以及自己想用 LLM 找下一批 Thiel Fellows。

值得記的話5 句

• It'll almost be irrational to not listen to the model.到時候不聽模型的建議，幾乎會是不理性的03:11

• I think displacement in a lot of roles is going to happen very quickly and it's going to be very painful.我認為很多職位被取代會來得非常快，而且會非常痛09:58

• It would not surprise me if that becomes the most common knowledge work job in the world.如果這變成全世界最常見的知識工作，我不會意外；「這」指的是替模型建立 evals19:38

• In reinforcement fine-tuning, you instead define the outcome that you care about.在 reinforcement fine-tuning 裡，你改成定義自己在乎的結果32:03

• A global unified labor market that every candidate applies to and every company hires from.一個每位求職者都投遞、每家公司都從中招人的全球統一勞動市場35:41

名詞與人物10 個

Brendan Foody

Mercor 共同創辦人兼 CEO，本集來賓；與共同創辦人都是 Thiel Fellows。

Mercor

用 LLM 評估並媒合人才的公司，客戶包括各大 AI 實驗室。

evals

衡量模型能力的評測；Brendan 認為它們是各種能力的上游。

human data

訓練模型所需的人工資料，Brendan 說這個市場正從群眾外包轉向找最強的人。

power law

少數頂尖者貢獻極大比例成果的分佈，本集用來談投資與知識工作。

verifiable domains

可驗證的領域，像數學、程式這類有明確回饋的領域，Brendan 說模型會很快學會。

RFT

reinforcement fine-tuning：定義想要的結果再獎勵模型。

SFT

supervised fine-tuning：用輸入與輸出配對來訓練模型。

Sierra

主持人提到它有一個叫 τ-bench 的客服 benchmark；Brendan 也和 Sierra 談過如何定義好的客服回覆。

global unified labor market

全球統一勞動市場，Brendan 設想的未來：配對成本降到軟體等級，所有人和公司都在同一個市場。

提到但沒有展開

• Brendan 說一般的勞動力媒合平台，供給對需求大約是 50 比 1，所以 Mercor 打算提供 AI 模擬面試、AI 職涯建議、可分享的個人檔案等免費工具來壯大供給端。
• 主持人轉述一位朋友用 Nyquist 取樣定理做的比喻：你看得出誰比你聰明，卻無法知道聰明多少，因此很難拿人類去校準超智慧。

在 YouTube 看原片 ↗