GitHub MCP 的一年實戰

概要

• 工具一多，agent 反而變差開源後公開貢獻湧入，Sam 說一個月左右 agent 用 GitHub 的表現在某些方面變差，context window 也更快被塞滿。他們當時選了超過一百個工具，回頭看在當時是太多了。
• 優雅的設定沒人用團隊做了 tool sets、動態工具選擇，也做過沒發布的語意搜尋版本，但大家都用預設值，因為使用者多半不會去改 JSON。
• 用數據縮減 context依使用情況聚焦工具後，初始載入量減少約 49%，預設設定大約是 40 個工具；list pull requests 的輸出經過調整，token 少了超過 75%。工具呼叫的成功率，Sam 說現在大約超過 95%。
• 安全是持續的威脅長效、權限過大的 token 讓 Sam 擔心；遠端 server 支援 OAuth 2.1 與 PKCE，但他們評估後拒絕了 dynamic client registration。另外也談到提示注入外洩攻擊，並認為 agent 的實用性與防護是直接衝突的。
• 每個請求建一個新的 server 實例他們用無狀態架構，沒有 session affinity，session 只用來辨識客戶端自報的身分。
• 預期工具會到數千個Sam 預期 server 探索會自動化、工具使用更偏組合式，數千個工具很快會變成常態，並鼓勵大家試做古怪的 client。

原話

• “Everyone used the default settings.”

  大家都用預設值。講的是他們做了各種工具分組與選擇機制之後的結果

  ▶ 04:01

• “the perfect tool description that makes the agent call it all the time is terrible as is the reverse of that”

  讓 agent 隨時都會呼叫的完美工具描述很糟，反過來也一樣

  ▶ 07:57

• “for us, it creates more problems than it solves”

  對我們來說，它製造的問題比解決的還多。指的是 dynamic client registration

  ▶ 09:36

• “the utility of agents is in conflict, direct conflict with kind of protecting this stuff”

  agent 的實用性與保護這些東西是直接衝突的

  ▶ 11:27

• “I fully expect that thousands of tools will be normal very soon.”

  我完全預期數千個工具很快就會變成常態

  ▶ 16:57

延伸

• Sam 提到同事寫過一篇談 evals 的部落格，但這場沒有展開細節。
• Sam 說還沒排除 code mode 這類更進階的做法，但沒有說時程。
• 講到 GitHub 自己面臨的新挑戰，Sam 只說壓力很大、沒有放緩的跡象，沒有展開。