哈利拆解 Anthropic 指控中國 AI 公司蒸餾 Claude 之後的網路反駁,再談它與美國國防部決裂、OpenAI 接手合約的差別。
重點
蒸餾本身合法,拿別人的產出來蒸餾不行。蒸餾是讓小模型模仿大模型的行為,各家都用來做中小型模型。但各家使用者條款都禁止拿別人的模型產出訓練自己的模型。Anthropic 點名 DeepSeek、Moonshot、Minimax 三家,說它們用超過兩萬四千個假帳號收集了一千六百萬筆 Claude 的產出。
九頭蛇集群讓封帳號沒用。Anthropic 說這些公司透過代理服務大量註冊帳號,集中管理 API Key、分散請求、混進真實用戶的流量,砍掉一個帳號立刻補兩個。三家收集的重點都是推理、工具使用與寫程式,筆數差很多。
哈利逐條駁斥網路上的說法。「作賊喊抓賊」、「有付錢就能用」、「只是在跑 Benchmark」,他認為這些都站不住腳。拿書訓練在判決裡算合理使用,蒸餾則是違反條款;針對特定能力的後訓練,十萬筆就很夠。
蒸餾出來的模型仍有軍事價值。學生模型追不上老師,但不必比最強模型強,接近就能用在軍事分析。蒸餾時還可以刻意不學安全護欄,哈利把這點視為真正的風險。
國防部與 Anthropic 各有道理。國防部要確保能掌控採購的技術,這個出發點合理;Anthropic 守住大規模國內監控與全自主武器兩條底線,也合理。哈利批評的是三天期限和「供應鏈風險」的認定。
OpenAI 的合約是話術上的相似。它的合約靠法律條文避免那幾件事,Anthropic 要的是實質上避免。哈利最後把話題拉回大規模監控對民主的威脅。
時間軸 點時碼從那一段開始
- 久違的單口前三集有兩集訪談、一集休息,這集回到單口。國際新聞不聊,今天講同一間公司 Anthropic 的兩則新聞。
- 蒸餾攻擊的新聞Anthropic 說掌握證據,DeepSeek、Moonshot AI、Minimax 大量收集 Claude 的產出。美國社群下面一面倒罵 Anthropic,哈利覺得很多論點出自錯誤的事實。
- 什麼是模型蒸餾老師模型把知識轉給學生模型,學生模仿老師的回答。這是業界主流做法,Sonnet 4.6 接近 Opus 4.6 就是例子。
- 三間公司被點名自家蒸餾合法,拿別人的產出違反使用者條款。Anthropic 說對方創了超過兩萬四千個假帳號、收集一千六百萬筆產出,並自創「Distillation Attack」一詞。
- 九頭蛇集群用虛擬信用卡、黑市買來的信箱與教育信箱申請 API Key,集中調度、混進真實用戶流量、不停換 IP。哈利說砍掉一個頭就長出兩個新的。
- 各家收集了什麼DeepSeek 約 15 萬筆、Moonshot 340 萬筆、Minimax 一千三百萬筆,重點是推理、工具使用與寫程式。Anthropic 回應是關帳號、加強偵測,並與其他實驗室分享。
- 為什麼有人罵 Anthropic哈利猜原因:被封鎖過、偏愛便宜好用的中國開源模型、Anthropic 自己沒有開源模型。
- 論點一:作賊喊抓賊作者集體訴訟的判決認定合理使用,只有盜版取得不合法,Anthropic 為此和解賠了 15 億。哈利說拿書預訓練和模仿模型行為,法律與概念上都不可比。
- 論點二、三:有付錢、只是跑測試付了錢也不能違反條款。後訓練看的是資料品質與多樣性,十萬筆就夠;Minimax 本來就是被禁用的對象,Anthropic 也已公開分辨方式。哈利還點名一位美國科技網紅 Theo 的說法。
- 西方公司也這樣做嗎沒有直接證據。早期互抄很可能有,但規模與對象不同:這次是工業規模,而且是中美競賽。
- 白箱與黑箱蒸餾蒸餾自家模型能看到機率分佈,偷別人的只能看到輸出,所以效率較低。
- 為什麼仍是威脅不必比最強的強就有軍事價值,哈利舉 Claude 配合 Palantir 協助的行動為例。蒸餾還可以不學護欄。
- 中國開源的盤算中國 AI 實力不該被貶低,但開源是因為還差美國一步,領先後就不會開源。哈利用養豬的比喻警告別被餵習慣。
- 五角大廈事件來龍去脈Anthropic 最早與國防部合作,透過 Palantir 使用。高層事後詢問行動細節,被通報後國防部大怒。
- 最後通牒與兩條紅線國防部要求同意「所有合法用途」,只給三天,否則列為供應鏈風險。Dario 堅持不能用於大規模國內監控與全自主武器。戰爭部長與川普發文痛批。
- OpenAI 接手奧特曼先說站在 Anthropic 這邊,Anthropic 被踢後一兩天內就簽下看似一樣的合約。哈利說它其實退了一步。
- 國防部的立場採購技術就該有掌控權,國防部的不信任感合理。哈利舉國防部技術長問洲際飛彈情境與 Dario 的回答。
- Anthropic 的底線資料可以合法向 Data Broker 買,LLM 出現後等於能分析每個人。全自主武器則有幻覺誤殺的風險。
- 國防部做法哪裡不對應該詳談並給保證,爭點是最終解釋權。期限太趕,交接還有六個月;列為供應鏈風險更是過分。
- OpenAI 聲明的話術三條限制看似更嚴,但合約上避免依賴法律,對法律沒規範的部分交給國防部認定。雲端部署防止濫用的說法,哈利不買單。
- 民主不是常態民主是近期現象,且在下滑。哈利說他不認為川普是法西斯,現在離法西斯還很遠。
- 從源頭消除監控的可能假設未來有一任政府能用 AI 做全國大審查,美國仍有司法與媒體獨立,但根本消除這個可能最好。哈利肯定 Anthropic 的方向,並說現在討論是健康的。
值得記的話
▶ 24:41「你有乖乖付錢也不代表你可以違反使用者條款嘛」
▶ 38:41「GuardRail 跟模型能力是 decoupled 的」
▶ 56:31「民主就是建立在人民的言行不會被政府全天候監視的前提之下纔能夠存在」
▶ 58:08「政府能拿到資料但是無法分析這種實質的隱蔽性現在其實已經沒有了」
▶ 1:04:52「Anthropic 要求的 Deal 是實質上避免那兩件事情發生」
名詞與人物
- Distillation(蒸餾)
- 讓小模型模仿大模型的輸出,把知識從老師模型轉給學生模型。
- Distillation Attack
- Anthropic 為這次事件自創的詞,指用別人的模型產出大規模蒸餾自己的模型。
- Hydra Cluster
- 靠大量假帳號與 API Key、集中調度的代理手法,封掉一個馬上補上新的。
- 白箱/黑箱蒸餾
- 白箱能看到自家模型的機率分佈,黑箱只能拿到別家模型的輸出。
- Palantir
- 大數據整合分析公司,美軍透過它使用 Claude。
- All lawful purposes
- 國防部要 Anthropic 同意的條款:模型可用於任何合法用途。
- Supply chain risk
- 供應鏈風險認定,哈利說通常用在敵國公司,美國本土公司從未被這樣認定。
- Mass domestic surveillance
- 大規模國內監控,Anthropic 的第一條底線。
- Fully autonomous weapons
- 全自主武器,Anthropic 的第二條底線。
- Data Broker
- 販賣各種個人資料的公司,國防部可合法向它們購買資料。
延伸
- 作者控告 Anthropic 用書訓練的判決與和解,哈利說在 EP95 講過較完整的版本。