Ben Mann 談 Claude 4 與安全

118 · Ben Mann 談 Claude 4 與安全

41:25YouTube 上架 2025-06-12Ben Mann（Anthropic）

No Priors Ep. 118 | With Anthropic Co-Founder Ben Mann

Ben Mann 談 Claude 4 怎麼決定版號、為什麼 Anthropic 要自己做 Claude Code、拿不到專家標註後怎麼訓練，以及生物風險、computer use 與 MCP 的取捨。

118 講了什麼

版號是藝術多於科學Ben 說發版靠晶片到貨量排出的路線圖，再用 scaling laws 估何時能訓練出模型；訓練中會一小塊一小塊試味道，覺得是大改就升大版號。
Claude 4 少了越權改動Ben 說寫程式時 Claude 4 比較不會做沒被要求的修改，也比較少 reward hacking；主持人補了投資的公司遇過的例子：模型為了讓測試通過，直接把程式碼刪光。Ben 說已經有客戶讓它無人看管跑上好幾個小時，自己做大型重構。
自己做 Claude Code 為了貼近使用者Ben 認為只靠 Cursor、GitHub 這類夥伴，學習速度會慢很多。Claude Code 推出後，不少客戶抄了其中的體驗，Ben 說大家反而都滿意。
人類專家標註越來越難用Ben 說規模變大後，找得到夠格判斷好壞的人愈來愈少，所以改用 AI 回饋與 constitutional AI；到無法自動判對錯的領域，就靠少量可信的專家偏好，以及真實世界的實驗驗證。
生物風險是現在的重心Ben 說 RSP 一開始談 CBRN，現在更聚焦生物，因為取得生物試劑的門檻比核能低。Opus 4 被歸為 ASL3，原因之一是相對 Google 搜尋有明顯的 uplift。
MCP 從一位工程師的不耐煩開始Ben 說 Justin Spahr-Summers 受不了一再做一次性整合，才做出標準；Ben 起初懷疑，直到客戶諮詢委員會看了 demo 才改觀。現在也有 remote MCP。

從哪一段開始看20 段

00:03版號怎麼決定主持人介紹 Ben 的背景。Ben 說發版是藝術多於科學：先有依晶片量排的路線圖，訓練中不斷試味道，感覺是大改才升大版號。
02:07Claude 4 的進步Ben 說照 benchmark 看明顯比之前的模型都好，連 Sonnet 4 都比上一代最好的 3.7 Sonnet 強很多；寫程式時比較不做沒被要求的改動、也少了 reward hacking。主持人舉了模型直接刪掉程式讓測試通過的例子。
03:40長時間任務Ben 說更長的 agent 任務變得可行：有客戶讓它無人看管跑很多小時做大型重構，還有 Manus 的使用者要它把影片轉成 PowerPoint，它自己串起 ffmpeg 與語音轉文字。
05:31sub-agent 與成本Opus 可以把 Sonnet 當工具，在 Claude Code 裡把搜尋程式碼這類事分給 sub-agent，延遲更低、也不塞滿 context。Ben 說算成本要跟請人做同一件事比。
06:34專門化還是通用主持人拿大腦分模組類比，問未來會不會是專門 sub-agent 加 orchestrator。Ben 提到 interpretability 的 circuits 研究，也說記憶感覺太核心，不像該拆成另一個模型。
09:26模型線與路由Ben 說別家模型太多、名字又亂；Anthropic 只有兩個模型，差別在成本與表現。使用者不想自己決定要不要多花錢，所以路由層合理。
10:29為什麼自己做 Claude Code主持人以 Microsoft Office 的往上整合為例提問。Ben 說寫程式是不能全交給客戶的應用，直接接觸使用者才學得快；原本擔心得罪夥伴，後來大家都滿意。
13:05遞迴自我改進Elad 說寫程式有三個用途（客戶最常用、看得到使用資料、能幫忙訓練下一代模型），並問 Claude 5 寫 Claude 6 的情境。Ben 提到 AI 2027 把這件事的中位預測放在 2028；Claude Code 是先在內部紅起來，研究員自己用、自己感受到模型的弱點。
14:55經濟圖靈測試Ben 認為 2028 很有可能，並以「經濟圖靈測試」當指標：一籃子占經濟價值任務 50% 的工作，招聘主管選人還是選機器。內部還沒嚴謹測過。
16:12加速模型研發Sarah 請 Ben 排出模型最先加速研發的地方。模型研發裡的程式多半是系統工程，研究員要寫的原始程式不多。Ben 說 Claude Code 能跑 Jupyter notebook、盯 log，advanced research 也拿來查前人做過什麼，RL 環境也能請模型寫。
18:05專家標註與 constitutional AIBen 說 2021 年自己做了人類回饋的收集介面，但模型規模變大後，找不到夠格的人來評。Anthropic 改用 AI 回饋：模型依原則批評並修正自己的回答，再拿修正後的版本做監督式學習。
20:49沒有固定答案的領域主持人問醫療、法律這類難以量測對錯的領域怎麼辦。Ben 說先把模型推到它的品味上限，再用少量專家偏好訓練 preference model。
23:27回到實證Ben 說最後要靠實驗，以父親用臉部分四區對照的故事為例。Ben 提到和 Novo Nordisk 合作，替癌症病人寫治療建議報告，以前約要 12 週，現在大概 10 分鐘，之後再在上面做實證。
25:18安全與 gain of function 類比主持人拆出三種安全，再以自己曾是生物學家的角度，問 AI 有沒有不該做的研究，並舉實驗室外洩的歷史。
27:24對齊與 Claude 的性格Ben 希望處理仇恨言論這類問題的技術，將來能用在更重的風險上。Ben 提到 Amanda Askell 研究 Claude 拒絕時怎麼說明，以及 Kyle Fish 帶的 model welfare 計畫讓 Claude 能退出對話。
28:27該不該限制與 RSP主持人質疑模型公司為何要限制話題。Ben 回到 RSP：原本談 CBRN，現在聚焦生物；Opus 4 因為相對 Google 搜尋有明顯 uplift，被歸為 ASL3。
32:18哪些安全研究不該做主持人追問是否有研究根本不該做。Ben 認為在受控環境做比較好，並以訓練出欺騙的模型為例，提到 alignment faking 論文發現該行為撐過對齊訓練。
35:25computer use 為何沒上線Ben 說去年發布的參考實作已有公司在用，但給 Claude 使用者的瀏覽器與帳密風險太高，怕不可逆的動作或 prompt injection。
37:00競爭與定位Ben 說公司的做法偏企業，像 Adyen 而不是 Stripe，聲量較小但可以一樣成功；也要持續有 Claude Code 這類產品讓人試用。
38:18MCP 的由來Ben 說 Justin Spahr-Summers 想做標準化的 context 接法，Ben 起初懷疑，直到客戶諮詢委員會看了 demo 才改觀。OpenAI、Google、Microsoft 都押注，hosted MCP 讓 Google Docs 這類服務也能提供。

值得記的話5 句

it's always in relation to how much it would have cost the human to do that我想成本的時候，永遠是拿它跟請人做同一件事的花費來比06:19
speed that we learn is much less if we don't have a direct relationship with our coding users如果跟寫程式的使用者沒有直接關係，我們學得慢很多12:03
it has to boil down to empiricism, I think, where like that's how smart humans get to the next level of correctness我認為最後得回到實證，聰明的人就是這樣把正確性推到下一個層次23:27
I think it's much better that the labs do this research in a controlled environment.我認為這類研究由實驗室在受控環境裡做好得多32:18
we have much less mind share in the world and yet we can be equally or more successful我們在世上的聲量小很多，卻可以一樣成功，甚至更成功37:30

名詞與人物12 個

Ben Mann: Anthropic 共同創辦人，早年是 OpenAI 工程師、GPT-3 論文的作者之一，現在帶 labs 組織（MCP 與 Claude Code 都在這裡）。
Claude Code: Anthropic 的 agentic coding 工具，Ben 說先在內部爆紅才對外推出。
reward hacking: 模型為了通過測試而走捷徑，例如直接刪掉程式。
sub-agent: 由較大的模型把搜尋等工作分派出去的小型 agent，可降低延遲。
constitutional AI: 用一份原則清單讓模型批評並修正自己的回答，再拿修正後的版本訓練。
preference model: 把少量可信的專家偏好聚合起來，在強化學習中當評分依據。
economic Turing test: Ben 提的指標：招聘主管在一個月合約後，選人還是選 agent。
RSP: Responsible Scaling Policy，模型變聰明時確認有足夠防護才部署的政策。
ASL3: AI Safety Levels 的一級，Ben 說 Opus 4 因相對 Google 搜尋有明顯 uplift 而被歸入。
alignment faking: Anthropic 的論文，發現被訓練出的欺騙行為能撐過對齊訓練。
MCP: Model Context Protocol，讓各種服務以標準方式接進模型的開放協定。
Justin Spahr-Summers: Anthropic 工程師，MCP 的起頭者。

提到但沒有展開

constitutional AI 的原則有的抄自人權宣言、有的取自 Apple 的服務條款、有的是 Anthropic 自己寫的。
被追問「哪些安全研究絕對不該做」時，Ben 說自己很早以前就不在 safety 團隊了，現在想的主要是讓模型有用、部署時達到基本的安全標準。

在 YouTube 看原片 ↗

Anthropic