哈利花整集拆解 Anthropic 上週的發表：新版 Claude 3.5 Sonnet 的寫程式成績、Claude 3.5 Haiku 的價格，以及 Computer Use 的運作方式、實測心得和他對 AI 該不該學人類介面的看法。
重點
寫程式拉開差距。新版 Claude 3.5 Sonnet 在 SWE-bench Verified 從 33.4% 進步到 49%，哈利說這比 OpenAI 的 o1 和各家做 Coding Agent 的新創都高。它沒有一步一步推理的過程，是看完問題直接給答案。
變強的原因是哈利的猜測。他認為模型大小應該沒有變大，進步更可能來自 Post Training、合成資料，以及 Anthropic 在可解釋性研究上的累積。他強調這些 Anthropic 都沒有公布，可解釋性那一條大家聽聽就好。
Haiku 價格掉了 36 倍。去年 3 月的 GPT-4 每 100 萬個 Token 約 36 美金，現在 3.5 Haiku 只要 1 美金，而且他認為更聰明。哈利拿這個和 18 個月的摩爾定律對比，說看 AI 要有兩三年以上的遠見。
Computer Use 是不斷截圖的迴圈。Claude 看截圖、自言自語規劃、輸出座標和按鍵指令，再由另一個工具真的去操作電腦，反覆到任務完成。目前只能透過 API 使用。
哈利實測的結論。存一張周杰倫的照片做得很漂亮，其他工作被每分鐘 50 個請求的上限擋下。他整理出不能拖曳、抓不到短暫畫面、指令要拆細、很慢、會亂跑五個問題，結論是還不實用。
為什麼不直接用 API。他認為長期八九成的 App 會變成只剩 API，不需要使用者介面；但中短期得先有會用人類介面的 AI，才能說服人類，所以 Computer Use 是往那個方向的第一步。
時間軸 點時碼從那一段開始
- 夏威夷回來哈利上週在夏威夷參加高通的 Snapdragon Summit，內容留到下一集。回程轉兩次機、24 小時沒睡，還在調時差，先請大家包涵。
- 兩家輪流領先哈利認為上週最大的科技新聞是 Anthropic 的發表。Anthropic 和 OpenAI 輪流搶第一，他最後兩邊都訂，因為 Claude 3.5 Sonnet 寫程式最強，GPT-4o 他覺得文章處理較好。
- 這次發表什麼兩個新模型加一個新能力。新版 3.5 Sonnet 沒有改名，3.5 Haiku 補上小模型，3.5 Opus 仍然沒有。
- SWE-bench 是什麼給 AI 一個 GitHub Issue 和程式庫，要它寫出能通過所有測試的 Pull Request。OpenAI 另外請工程師篩出更可靠的 Verified 版。
- 33.4% 到 49%新版 3.5 Sonnet 在 500 題裡大約解掉 250 題，比 o1 還高。哈利提醒題目要在這個分布裡才有這個成功率。
- 還沒加上思考能力3.5 Sonnet 沒有逐步推理就拿到這個分數。哈利用赤手空拳和拿刀的戰士比喻，推測加上之後可能到 70 幾%。
- 推理人才在誰那裡哈利說做 Test Time Compute 最有名的人都去了 OpenAI 和 Google，Anthropic 有沒有類似的人很難說。他賭 OpenAI 已經做出來，下一個會是 Google。
- 不像是靠加大模型名稱仍是 3.5 Sonnet，哈利猜模型沒有變大。他列出兩個可能方向，先講 Post Training 越來越複雜。
- 合成資料適合 Coding程式碼可以直接跑跑看來判斷好壞，哲學這類領域做不到，所以合成資料特別適合拿來提升寫程式。
- 可解釋性研究第二個方向。Anthropic 五月的論文發現特定概念會讓一組固定的神經元亮起來，同一個概念的不同說法亮的是同一組。
- Golden Gate Claude一直把金門大橋那組神經元打開，不管問什麼都會扯到金門大橋。哈利接著講調弱某些神經元可以抑制不想要的行為，並再次聲明這一段是猜測。
- 參數被浪費了大模型花很多參數背不必要的知識，理想是只留基本認知，其餘都拿來學推理。他提到 Andrej Karpathy 認為純推理模型可能小到 1B 左右。
- 3.5 Haiku 的 CP 值拿去年 3 月的 GPT-4 對比，每 100 萬個 Token 約 36 美金對 1 美金，價格降 36 倍還更聰明，約等於 Claude 3 Opus 的程度。
- 要有遠見高通、Microsoft、NVIDIA 都是押對摩爾定律才成功。哈利說看 AI 不能只看現在的能力，也說自己做節目同時是在為想創 AI 新創公司找機會。
- Computer Use 怎麼運作以看日出的行程為例，Claude 開瀏覽器、截圖、自言自語、輸出座標指令，再由外部工具實際執行。本質是同一個多模態模型反覆提示自己。
- 只在 API 上、有 Docker網頁版沒有這個功能。Anthropic 提供 Docker Container，輸入 API Key 就能在自己電腦上跑一個模擬環境。
- 哈利的實測沒有試用額度，他買了 5 美金，大部分工作被每分鐘 50 個請求擋下，只做完存周杰倫照片那一件，檔名還多加了一次副檔名。
- 最強但還不實用他認為這是目前靠截圖的 AI 裡最強的，各種介面都能操作。但五個問題讓他下結論：現在還不會替一般知識工作者創造價值。
- 為何仍是好起點多數有價值的工作是透過電腦完成的知識工作。他設想原子世界交給人形機器人，數位世界交給 AI，而且不用重新設計電腦。
- 為什麼不直接用 API以叫 Uber 為例，App 背後本來就是 API 在傳資料。哈利覺得奇怪的是網路上幾乎沒有人討論，大家不是吹捧就是抱怨 Rate Limit。
- 長期的答案長期 AI 會變成使用者介面，八九成的 App 只剩 API 與 Schema，前端工程師不再需要。TikTok、IG 這類靠介面本身提供價值的 App 例外。
- 中短期要先學人類介面他用自駕車打比方：沒人會把整條路改成沒有紅綠燈，所以得先在人類的規則裡證明自己。他認為 App 轉向 API 會比自駕車快很多。
- 收尾哈利把全集收在兩個進步：Computer Use 是往那個未來踏出的一步，新版 Sonnet 的 SWE-bench Verified 做到 50%。
值得記的話
▶ 25:52「但是 Coding 很簡單為什麼因為 Coding 的資料很好判斷好壞」
▶ 42:04「你今天如果想要抓住 AI 這一波科技革命你不能看現在 AI 模型的能力而已」
▶ 54:37「我先下一個結論就是這個工具目前很明顯的還不實用」
▶ 58:47「為什麼你不直接讓 AI 學會使用 API Code 就好了」
▶ 1:02:22「人類使用的介面對於 AI 來說是非常沒有效率的」
名詞與人物
- Claude 3.5 Sonnet（新版）
- 沒有改名的更新版，寫程式能力大幅進步；Anthropic 模型大小分 Haiku、Sonnet、Opus 三種。
- Claude 3.5 Haiku
- 這一代第一個小模型，哈利拿來和去年 3 月的 GPT-4 比價格與聰明程度。
- Computer Use
- 讓 Claude 看截圖、輸出座標與按鍵指令來操作電腦，目前只能用 API。
- SWE-bench Verified
- 評估寫程式能力的測試，共 500 題，OpenAI 請工程師從原版篩選而來。
- Test Time Compute
- 回答時一步一步思考與反思的做法，哈利說這是推理模型比較嚴格的學術稱呼。
- Post Training
- 模型讀完大量資料後的特定訓練，資料來源與課程安排都能調整。
- 合成資料
- 讓 AI 自己產生訓練資料，在能實際執行驗證的 Coding 上特別好用。
- 可解釋性
- 研究大型語言模型內部發生什麼事，Anthropic 從 AI 安全出發做。
- Golden Gate Claude
- 持續打開金門大橋那組神經元，讓回答都扯到金門大橋的公開實驗。
- Noam Brown
- 以 Test Time Compute 聞名的研究員，做過玩撲克與 Diplomacy 的 AI，哈利說他在 OpenAI。
- Docker Container
- Anthropic 提供的包裝，在自己電腦上跑 Computer Use 的模擬環境。
延伸
- 哈利說 o1 的運作方式可以聽 EP57。
- 下一集（EP63）預告會講他參加高通 Snapdragon Summit 的見聞，並放與高通 AI 高層的訪談。