讓 agent 寫程式碼來用 API

概要

• 工具一多 context 就爆Cloudflare 的 OpenAPI spec 是 2.3 million tokens，直接做成工具約 1.1 million tokens，連最大的模型都無法負荷；拆成 16 個產品 MCP server 又讓使用者得自己挑，覆蓋也不完整。
• MCP 沒死，問題是別全倒進 contextMatt 認為 MCP 只是協定，真正要避免的是一次載入所有工具，解法是 progressive discovery，並列出 CLI、tool search 與讓模型寫程式碼三條路。
• CLI 與 tool search 各有限制CLI 需要 shell 存取；tool search 依關鍵字載入相關工具，Matt 舉的例子是 2,100 tokens 裡只用到 500。
• 讓模型對型別寫程式碼Cloudflare 的 code mode 把 API 轉成 TypeScript 型別，模型據此寫程式再執行；難點是跑不受信任的程式碼，Matt 用 V8 isolate 的 dynamic worker 做隔離，並示範了讀不到密鑰與可開關的網路存取。
• 服務端與客戶端都要準備使用者變成 AI 後會對服務寫程式，API 要有 rate limiting；客戶端會出現 programmatic tool calling、存下來重跑的小腳本，以及更多 MCP client。
• MCP 會變成 middlewareMatt 預期 SDK 越來越輕，到今年底至少 TypeScript 的大型全端框架會原生內建，一個旗標就能把 API 以 MCP 公開。

原話

• “we just shouldn't be dumping loads of tools into context”

  我們就是不該把一大堆工具倒進 context

  ▶ 04:57

• “And that's because running untrusted code is mega, mega scary.”

  那是因為執行不受信任的程式碼實在太可怕了，指的是 client 為何沒實作 code mode

  ▶ 09:29

• “code is actually a very compact plan”

  程式碼其實是一種非常精簡的計畫

  ▶ 14:47

• “your APIs have to be ready to take a beating”

  你的 API 得準備好承受猛烈的打擊

  ▶ 17:05

• “I think we're going to see MCP as a middleware”

  我認為我們會看到 MCP 變成一種 middleware

  ▶ 20:51

延伸

• Matt 把現在比作 1950 年代：當時要用電腦，得把程式交給鎮上那台機器跑，等於在跑不受信任的程式碼。上雲之後大家遠離了這件事，但使用者變成 AI 之後，又會回到那種模式。
• Matt 也提醒，每個人背後有上百個 agent 時，一個 agent 配一個沙盒會撐不住，得改用雲端原生、狀態可開可關的 agent 迴圈。