資料市場的內幕與下一步

044Sean Cai（Independent / State of Data）18:222026-07-26 上架

State of Data — Sean Cai, Independent / State of Data

Sean Cai 拆解 AI 資料供應鏈：哪些資料真的讓模型變專家、為什麼多數 benchmark 不可信、資料公司為何轉向企業，以及該怎麼讀下一個被補強的領域。

這場講了什麼

• 資料供應鏈正在拆開：兩年前資料公司得一手包辦所有環節，現在找人、建環境、設計 reward、跑 evals，很多環節都是專門的公司做得比大廠好。Sean Cai 認為這種分散是永久的，lab 甚至規定要分散給 20 到 30 家供應商，因為不相信品質能跟著數量放大。
• type one 與 type two 資料：type one 是真實工作流程的原樣紀錄，例如 GitHub commits；type two 是人為設定情境做出來的資料。Sean Cai 說業界的髒秘密是大家賣的都是 type two，卻當成 type one 計價。
• 用可驗證性預測哪個領域先成熟：把可驗證性拆成三軸，coding 三項都高，所以最先成熟；生物、資安、金融、醫療、法律在其中兩軸偏低，驗證用的範例又鎖在企業內部。照這套看，coding 之後是搜尋、金融、醫療與法律，再來是資安、生物與科學發現，品味最難驗證。
• 單一 benchmark 數字不可信：Sean Cai 說常見的 type two 配方等於帶著獲利動機的 Goodhart 定律。Anthropic 的部落格與其他研究者也指出，跨 harness、跨基礎設施的差異是 benchmark 分歧的主因，所以一個分數只是一次抽樣。
• 資料市場是 lab 動向的前哨：舉 Anthropic 為例，1 月向新供應商大買資安資料，3、4 月改買生物資料，兩三個月後就出現對應的產品。
• 資料公司正在變成企業服務：模型不像電力那樣可以互換，企業一旦不再租用 lab 的智慧、改成擁有自己的模型，就需要一整層還不存在的抽象層，資料公司的長期價值也落在服務與應用層；Sean Cai 也說自己正在做的事是幫企業把資料變現並導入 RL as a service。

影片從哪一段開始看15 段

1. 00:12開場：不替誰代言Sean Cai 說明自己不代表任何公司，只想講資料市場的內幕，以及像 Mercor、Handshake 這類公司到底怎麼產出資料。
2. 00:40重新定義資料市場大家想到的標註工廠只是最不有趣的部分；稀缺而且定價很差的，是把模型從通才推向專家的那種資料。
3. 01:29供應鏈拆分就像各種工業化的供應鏈一樣，資料產業在拆開，專門的公司在不少環節勝過大廠；品質不會隨數量線性成長，lab 因此規定要用 20 到 30 家供應商。
4. 03:11運算、資料、人才模型進步取決於這三項，資料是資金最不足的那一條腿；三者失衡就會降低效率，資本支出暴增，AI 營收卻遠遠落後。
5. 04:17狀態資料與流程資料流程資料記錄的是從空白頁到完成品的決策軌跡；其中 type one 來自真實工作，type two 是人為製造。
6. 05:57可驗證性三軸引用 Jason Wei 的 verifiers law，把可驗證性拆成不對稱性、真確性、擴散性三軸，用來解釋為什麼 coding 最先成熟。
7. 07:06下一個成熟的領域生物、資安、品味、金融、醫療、法律在這三軸偏低，驗證用的範例鎖在企業內部流程裡；依三軸能推測成熟順序。
8. 08:10假 benchmark 的配方請領域專家出題、自己解，挑出模型答案跟專家不一樣的題目，包成很難的北極星 benchmark，再賣資料讓人爬同一個榜，等於帶著獲利動機的 Goodhart 定律。
9. 09:12單一分數只是一次抽樣Anthropic 的部落格與其他研究者都指出，跨 harness 與跨基礎設施的差異是 benchmark 分歧的主因。Sean Cai 用三個金融任務測試，Opus 4.8 在很多 rubric 上不如 4.7；GPT-5.5 與 Opus 4.8 分數差不到三分，強弱卻剛好相反：GPT 算術對，Opus 方法對但算術出錯。
10. 11:54從資料採購預測產品資料市場是 lab 下一批產品的前哨：Anthropic 1 月大買資安資料、3 月與 4 月大買生物資料，兩三個月後就有了 Mythos、Cyber 與 Claude Bio／Life Sciences。Sean Cai 也給了一份清單，包含三軸分類、長時程門檻與五個原始資料訊號。
11. 13:30反例：機器人資料機器人的資料型態還沒定案，供應商也很不成熟。環境公司就算成功，也比較像研究加速器，是精品產業；能長成創投規模，是因為自建的基礎設施幫得上企業應用。
12. 14:25白領工作的任務長度圖短時程工作現在就好處理，真正的價值在右側深度相依的長時程工作，每建好一條資料管線，門檻線就往右移。
13. 14:44模型層不會鎖死Sean Cai 說基礎設施技術的先驅，長期都沒能守住超過 10% 的市場，並拿鐵路的歷史類比；GLM-5.2 在不少真實世界 rubric 勝過 GPT，顯示應用層公司能與模型層脫鉤。
14. 16:04資料公司轉向企業成功的資料公司都在轉向企業；企業要擁有自己的模型，需要一整層還不存在的抽象層，Sean Cai 說有五項工作，現場列了其中三項。
15. 17:05結論與兩個建議資料公司都得變成 neolab；研究者別再把真實的定義外包，建造者的護城河是通往真實工作的管線。最後首度公開自己正在做的事：跟企業合作把資料變現，並導入 RL as a service。

值得記的話5 句

• Data is to the white-collar revolution what coal and iron basically is to the Victorian age資料之於白領革命，基本上就像煤與鐵之於維多利亞時代01:13

• the dirty secret of the industry though is that everybody sells type two and bills it as type one這個產業的髒秘密是，大家賣的都是 type two，卻當成 type one 來計價05:39

• it's Goodhart's law with a profit motive, basically基本上就是帶著獲利動機的 Goodhart 定律08:25

• stop outsourcing your definition of realism to the same vendors you buy your evals and tasks from別再把「什麼才算真實」的定義，外包給你買 evals 和任務的那些供應商17:05

• your moat's not the data. It's the sort of pipeline into real-world work你的護城河不是資料，而是通往真實工作的管線17:22

名詞與人物12 個

Type one data

真實工作流程的原樣紀錄，例如 GitHub commits 或 session replays，幾乎沒有非專家加工過的 reward

Type two data

把專家放進人為設定的情境裡產出的資料，也就是 contrived data

Process-based data

軌跡、推理過程與一連串決策，描述一件工作怎麼從空白頁做到完成品；相對於 ERP 裡存下來的狀態資料

Verifiers law

引用自 Jason Wei：訓練模型做一件任務的難易，與這件任務的可驗證程度成正比

可驗證性三軸

驗證的不對稱性（驗證有多難）、真確性（對「正確」有多少共識）、擴散性（真實世界多常給出新的已驗證範例）

Long horizon bar

判斷長時程的門檻：強制的步驟長度、不可互換的異質工具呼叫、會限制後續動作的狀態轉移、必須有失敗復原

Antikythera mechanism

Sean Cai 的用語，指把雜亂的商業脈絡轉成 evals 的客製化系統

Goodhart's law

Sean Cai 的說法：指標一旦變成目標，而且目標由不是真正領域專家的人來定，就不再衡量任何真實的東西

Mercor

跟 Surge、Scale AI 並列的大型資料公司；Sean Cai 說在 AI 公司工作的人，最近可能被它找上門想買 Slack 或 Jira 紀錄

Handshake

Sean Cai 與 Mercor 一起點名，說兩家的營收有相當大一部分已來自企業

RL environment 公司

為 lab 建強化學習環境的公司；Sean Cai 認為成功的話更像研究加速器

Neolab

Sean Cai 認為資料公司最終都要變成的形態，價值落在服務與應用層

提到但沒有展開

• Sean Cai 說 type two 是對的起點：模型還在一年級程度時，誰都能教；要把模型從 20% 推到 80%，得靠 type one，因為它的真實感直接來自工作本身。
• 資料會隨著前沿移動而過時，Sean Cai 認為唯一持久的來源是一家還在營運的合作企業，而不是很多資料公司正在收購的倒閉新創 codebase。

模型產業觀察評估創業

在 YouTube 看原片 ↗