背景執行的 computer use 三件套

016Francesco Bonacci（Cua）16:412026-07-15 上架

Computer-Use 2.0: Agents Just Got Multi-Cursor — Francesco Bonacci, Cua

Francesco Bonacci 與 Cua 的 CTO、基礎設施負責人輪流上台，介紹讓 agent 在背景操作電腦的 CuaDriver、評測用的 CuaBench，以及替 RL 訓練備好沙盒的 CuaFleet。

這場講了什麼

• 不搶螢幕的 computer use：Francesco Bonacci 說 CuaDriver 讓 agent 在背景操作，不會像舊式的 computer use 1.0 迴圈那樣接管使用者的螢幕。macOS、Windows、Linux 都支援，任何 AI agent 都能接上。
• 先走 accessibility tree，不行再點像素：agent 呼叫 getWindowState 取得 accessibility tree 加截圖，先試著用 accessibility tree 在背景執行，不行才退到像素層級的背景點擊。
• CuaBench 把任務寫成單一 Python 檔：一個任務由 setup、oracle、evaluator 三塊組成，oracle 是 GUI 動作。目前有超過 130 個可驗證任務、42 個環境，橫跨五個平台。
• 電子工程任務難倒所有模型：與 Snorkel AI 合作的 CuaBench KiCad 裡，測過最強的 agent 在 25 題中只完整通過 6 題，從空白電路圖開始的成功率是 0%，沒有模型的 reward 超過 30%。
• 工具換了，分數就變：CTO 舉的例子是在放大到 4K 解析度的 CuaBench basic 資料集上，把內建的電腦工具換成 CuaDriver，通過率從 62% 升到 80%，token 少用 34%，主要因為 CuaDriver 只看一個視窗，不看整個桌面。
• RL 訓練別讓 GPU 閒著等沙盒：基礎設施負責人 Robert 用依需求自動擴縮的 warm pool 預備沙盒，讓沙盒啟動的成本落在基礎設施這一側，而不是 GPU 這一側。

影片從哪一段開始看14 段

1. 00:12開場與團隊Francesco Bonacci 自我介紹是執行長，CTO 與基礎設施負責人 Robert 稍後會接著上台。
2. 01:34Computer use 1.0團隊的經驗可以回溯到在 Microsoft 做 GUI agent 的時期；舊式迴圈是截圖、推理規劃，再用點擊、輸入、捲動這組動作空間執行。
3. 02:30CuaDriver 的背景執行兩個多月前開源的專案，不再接管使用者的螢幕；起因是 Codex 發表了自家的 computer model，團隊一個週末就拼出第一版。
4. 03:42跨平台與運作方式macOS 上靠的是 Apple 框架裡沒有文件的 API；後來也支援 Windows 與 Linux，任何 AI agent 都能接上。
5. 04:46觀察與行動路徑呼叫 getWindowState 取得 accessibility tree 與截圖；先試 accessibility tree 的背景執行，不行才做像素背景點擊。
6. 05:43版本測試與早期採用者每次發版用大約八個不同的應用程式 harness 確認沒有弄壞東西；Clicky、Hermes 等早期採用者也送回不少上游貢獻。
7. 06:34CuaBench 的任務結構CTO 說 CuaDriver 給了 agent 手，CuaBench 要回答能不能信任它用這雙手；任務由 setup、oracle、evaluator 組成，目前有超過 130 個任務、42 個環境、五個平台。
8. 08:12KiCad 電路設計任務與 Snorkel AI 合作的資料集，evaluator 會實際模擬電路；最強的 agent 只完整通過 25 題中的 6 題，而且全是修改既有的電路圖。
9. 09:04換工具提升通過率在 4K 解析度的 basic 資料集上，換成 CuaDriver 後通過率從 62% 升到 80%，token 少用 34%。
10. 09:34怎麼信任 eval 本身新任務先由團隊自己試著弄壞環境，再讓一批 agent 嘗試 reward hacking，結果整理成類似 CodeRabbit 的 code review 報告；撐不過這條流程的任務不收。
11. 10:12用預測衡量 world model每次記錄下來的執行都能從軌跡中任何一刻分岔，取得當時的電腦狀態，再讓模型預測 reward 或內部狀態，拿預測去對照分岔的結果。
12. 10:57RL 訓練的 GPU 閒置成本Robert 指出 GPU 產生完 token 後，要等新沙盒啟動或舊沙盒重置，這段是純成本；研究人員可能給你一個 40 GB 的 computer use 環境，光拉下來就要很久。
13. 12:54沙盒 pool 與自動擴縮依 GPU 當下需要多少沙盒來調整 pool 大小，不必事先決定 warm pool 的規模；沙盒比 GPU 便宜兩到四倍，多備一點仍然划算。Windows、Linux、Android 已可用，macOS 在準備中。
14. 15:02Q&A：Android有聽眾問行動裝置。回答是 Android 能把工作負載放進容器，比 iOS 更適合背景執行，但比較偏向 tool use，而不是操控 GUI。

值得記的話5 句

• But the results are humbling. The top agent that we tested only got a full pass on 6 out of 25 of these tasks.結果讓人很謙卑：我們測過最強的 agent，25 題裡只完整通過 6 題08:27

• But once you can score something, you can improve it.但只要能打分數，就能改進09:04

• prediction is the world model of the agent made measurable.預測，就是讓 agent 的 world model 變得可以衡量10:42

• The problem here is that this is just pure cost.問題是這段時間純粹是成本11:45

• you're paying the cost of that startup time on the infrastructure side.這樣啟動時間的成本就落在基礎設施這一側14:32

名詞與人物8 個

CuaDriver

Cua 開源的驅動層，讓任何 AI agent 在 macOS、Windows、Linux 上背景操作電腦

CuaBench

Cua 的 computer use 評測資料集，任務由 setup、oracle、evaluator 組成

CuaBench KiCad

與 Snorkel AI 合作的電子工程任務集，evaluator 會模擬電路

CuaFleet

Robert 負責的訓練基礎設施，替 RL 訓練預備沙盒

accessibility tree

作業系統提供的視窗元件結構，CuaDriver 優先用它在背景執行動作

oracle

CuaBench 任務裡提供標準解法軌跡的函式，內容是 GUI 動作

warm pool

預先備好的沙盒池，讓 GPU 不用等沙盒啟動

Robert

Cua 的 chief infra officer，講沙盒基礎設施的部分

提到但沒有展開

• CTO 拿 Terminal-Bench 與 Harbor 的任務格式對照：結構類似，差別在 CuaBench 的 oracle 是 GUI 動作，不是終端機指令。
• Android 上 Hermes 團隊有自己的 harness，Cua 正在跟他們談；Android 裝置內甚至可以跑自己的容器、Ubuntu 或 GUI Docker 容器。

Agent開發工具評估開源

在 YouTube 看原片 ↗