Surge AI

124 · Surge 談 human data 的品質

32:59YouTube 上架 2025-07-24Edwin Chen（Surge AI CEO）

No Priors Ep. 124 | With SurgeAI Founder and CEO Edwin Chen

Edwin Chen 談 Surge 怎麼不募資、靠 human data 做到年營收超過 10 億美元，為什麼資料品質沒有天花板，以及 LMArena 這類排行榜為什麼會把模型訓練成 clickbait。

124 講了什麼

• 不募資，因為不需要Surge 從一開始就有獲利，用不到外部的錢，Edwin 也不想交出控制權。對九成手上有點存款的創辦人來說，錢解決不了什麼，第一反應應該是去做自己想做的東西，真的遇到財務問題再考慮募資。
• 賣的是資料，不是人力Surge 交給實驗室的是訓練與評估模型用的資料，連同評估得出的弱點與失敗模式。Edwin 說很多同業只是 body shop，送的是人頭，沒有任何衡量品質的技術。
• 品質沒有上限大家畫出來的 bounding box 都差不多，寫詩、做 pitch deck 的好壞卻差很多。Surge 用自家 ML 團隊的演算法，收集 annotator 與工作過程的各種訊號來衡量品質，做法類似 Google 搜尋與 YouTube 判斷內容好壞。
• RL 環境要夠豐富以業務員為例，環境裡要有 Salesforce、Gmail、Slack、Excel，還要有數千則彼此一致的訊息、會往前推進的時間與突發事件。Edwin 認為環境的豐富度沒有天花板。
• 人類回饋不會用完有客戶花半年產了 1,000 萬到 2,000 萬筆 synthetic data，最後發現 99% 沒用；一千筆精挑細選的人類資料，比那 1,000 萬筆還有價值。模型也需要人從外部告訴它目標對不對。
• 排行榜把模型帶歪LMArena 上的人只花 5 到 10 秒，挑格式多、表情符號多、比較長的回答。想衝排名的團隊可能半年都在訓練更好的 clickbait；Surge 想多做公開研究，把產業往對的方向推。

從哪一段開始看16 段

1. 00:00開場Sarah 與 Elad 介紹 Edwin 與 Surge：沒有募資的 human data 公司，去年營收超過 10 億，客戶包括 Google、OpenAI、Anthropic。
2. 00:48規模與創辦原因Surge 是這個領域最大的 human data 公司，一百多人，2020 年成立。Edwin 先前在 Google、Facebook、Twitter 做 ML，一再卡在拿不到訓練資料。
3. 02:37為什麼不募資一開始就有獲利，不需要錢。Edwin 說很多創辦人募資只是為了跟朋友說募到 1,000 萬美元、讓爸媽看到 TechCrunch 的標題，而不是有想解決的問題。
4. 04:40外部背書與早期招人Sarah 問需要外部背書才招得到人的創辦人怎麼辦，Elad 補充成「沒人脈、剛畢業的人怎麼吸引人才」。Edwin 先分需不需要錢，再說自己絕不會在前幾位員工裡找 data scientist 或 PM。
5. 08:02十億營收買的是什麼Sarah 請 Edwin 說明營收從哪來。產品就是資料：SFT 資料、單元測試、偏好資料、verifier，加上評估模型得到的失敗模式與洞察。
6. 09:50與同業的差別不少同業只是送人頭的 body shop，把品質當成商品；Edwin 用 bounding box 對比寫詩，說明不同任務的品質天花板差很多。
7. 11:23怎麼衡量品質主持人問是用人還是用模型評估。Edwin 拿 Google 搜尋與 YouTube 類比，把 annotator 與工作過程的訊號都餵進 ML 模型。
8. 12:25模型變強之後Surge 內部在研究 scalable oversight：寫故事先讓模型打底稿，人再大幅改寫，把人的力氣留給創意。
9. 14:13RL 環境與 reward以業務員的整個工作世界為例，要有數千則 Slack 訊息、數百封 email，彼此一致、時間會推進。環境沒有天花板；未來五到十年，環境、軌跡等各種資料都會需要。
10. 17:33人類回饋不會用完主持人問模型超越人類之後人的角色。Edwin 說人類回饋不會用完，synthetic data 有用，但常被高估。
11. 18:49模型需要外部訊號某個頂尖模型，Edwin 用起來大概一成的時候會冒出印地文和俄文字元，模型自己察覺不到。LMArena 讓人憑幾秒的印象投票；主持人拿蛋白質演化的篩選來類比。
12. 21:40人工評測才是標準主持人問排行榜之外該怎麼評估。各實驗室公認的標準是認真的人工評測：查證事實、確認有沒有照指令、找有品味的人看文筆。
13. 23:28Meta 與 Scale 的交易Edwin 認為對 Surge 是好事：有些還在用 Scale 的團隊這才知道 Surge；低品質的資料會讓客戶對 human data 失望，對整個產業不利。
14. 24:33誰會追上、模型會不會商品化黑馬 Edwin 押 xAI。模型不會變成商品，各家有各自的專長、原則與個性，使用者會依用途切換。
15. 26:22公開研究與排行榜的陷阱Sarah 問 Surge 接下來要投資什麼。Edwin 說實驗室不再發表，產業落入陷阱：有研究員明講，只要排名上升，模型變得更不準確、更不聽指令也無所謂。IFEval 是另一個脫離真實進展的例子。
16. 29:28什麼是高品質資料Elad 問高品質資料是什麼。以八行月亮詩為例：Craigslist 找來的人和英文系博士都不行，要的是諾貝爾獎得主等級的詩；各領域有共通的品質原則，也有各自的差異。

值得記的話5 句

• Raising immediately always felt silly to me一開始就去募資，我一直覺得很蠢03:55

• I think human feedback will never run out我認為人類回饋永遠不會用完17:48

• You're basically just training your models on the analog of clickbait.你基本上只是在拿 clickbait 的等價物訓練模型22:11

• There's thousands of ways to write a poem about the moon寫月亮的詩有上千種寫法31:02

• Otherwise you're basically just like scaling up mediocrity.不然你只是在把平庸規模化32:03

名詞與人物11 個

Edwin Chen

Surge 創辦人兼 CEO，以前在 Google、Facebook、Twitter 做 ML。

Surge

Edwin 創辦的 human data 公司，沒有對外募資，一百多人，2020 年成立。

human data

由人撰寫或評判的訓練與評估資料，Surge 的產品。

SFT data

人直接寫出的範例解答，用來微調模型。

verifier

檢查模型產出合不合要求的條件，例如網頁右上角要有登入鈕。

scalable oversight

AI alignment 的一個領域：讓人與模型合作，產出比各自單獨做更好的資料。

RL environment

模擬完整工作世界的環境，給實驗室訓練 agent。

synthetic data

模型生成的資料；Surge 自己也大量用，但 Edwin 認為它常被高估。

LMArena

讓使用者在兩個回答之間投票的排行榜；Edwin 批評它獎勵格式與長度。

IFEval

instruction following eval，Edwin 舉它當 benchmark 脫離真實進展的例子。

body shop

Edwin 對只送人力、沒有技術的資料供應商的說法。

提到但沒有展開

• Edwin 說自己念 MIT，認識的很多 MIT 資工畢業生其實很不會寫程式；就像英文系博士不等於好詩人，學歷不能拿來代替品質。
• 主持人拿蛋白質演化來類比模型訓練：針對某個回饋訊號一路篩選，最後會冒出沒預料到的怪行為，結果取決於那個訊號是什麼。

在 YouTube 看原片 ↗