讓模型寫程式碼來操作系統

概要

• 工具一多就失靈Sunil 說工具少、執行短的時候沒問題，但接上 Google 服務、Jira、Wiki 等幾百個工具、塞滿 context 之後就開始壞掉，組合起來也很怪。
• 改請模型寫程式碼他們不再來回傳 JSON，而是讓模型產生通常是 JavaScript 的程式碼，在環境裡執行。Sunil 列出的好處有型別 API、型別檢查，以及迴圈、狀態、排序、平行這些寫程式本來就有的能力。
• API 縮成 search 與 executeCloudflare 的 API 約有 2,600 個 endpoint，每個都開成工具的話，第一次呼叫約 1.2 million tokens。同事 Matt Carey 改成 search 與 execute 兩個收程式碼的工具，Sunil 說降幅「I think it's like 99.9%」。
• 模型住進系統狀態Kenton 在畫布上畫了井字棋盤，模型一開始想另寫井字遊戲 app，被喊停、要它直接讀系統狀態之後，模型讀了筆畫陣列就在畫布上下棋。Sunil 把這形容為模型不再產生程式，而是住進狀態機。
• 沙盒從零能力開始Sunil 描述的安全做法是起點什麼能力都沒有，再明確授予；Cloudflare 用 V8 isolates，建議預設不開對外 fetch，只開放 API，並要有完整的可觀測性。
• 為機器人使用者設計Sunil 說下一批使用者是會寫程式碼的小機器人，要替 agent 設計開發者體驗，並把 capability-based security 放進腦中。

原話

• “we asked the model to generate code, usually JavaScript, that we could run against an environment.”

  我們請模型產生程式碼，通常是 JavaScript，拿去在某個環境裡執行

  ▶ 02:10

• “it stopped generating a program, and it instead started inhabiting the state machine.”

  它不再產生程式，而是開始住進那個狀態機

  ▶ 11:15

• “you start with something that has no capabilities.”

  你從一個沒有任何能力的東西開始

  ▶ 12:58

• “They dream in types and syntax errors.”

  它們夢見的是型別與語法錯誤，這裡的「它們」指前一句說的、會產生程式碼的小機器人

  ▶ 17:26

• “you need to let the code do the talking.”

  你得讓程式碼自己來講話

  ▶ 18:52

延伸

• Sunil 說 Matt Carey 之後會有一場談同一件事的演講，這場沒有展開細節。
• 現場 demo 沒有順利收尾，Sunil 只說列出 workers 的動作看起來有成功，沒有給最終結果。
• 生成式 UI 與跑數天到數年的 workflow，Sunil 只當作想像的方向，沒有說有沒有人實作。