把 agent 放上畫布

概要

• 從 Make Real 開始Steve Ruiz 說 Make Real 是 2023 年最早「破圈」的 AI 專案之一，讓不懂程式的人把畫布丟給模型，就拿到可運作的原型。
• 用結構化輸出在畫布上畫圖模型輸出的是文字結構，用的是人也能用的圓形、形狀等工具，不是像 diffusion model 那樣生成圖片。Steve 也談到視覺訓練資料少、座標軸方向互相衝突，讓模型穩定輸出很難。
• 從單次生成走到 agent loop，再走到 fairies先做出會產出、檢視、再迭代的 agent，但 Steve 覺得像把鍵盤交給別的 AI；於是把 agent 放到畫布上，變成可以看到狀態與動作的 fairies。
• 多隻 fairies 協作它們能看到彼此在做什麼，也能選出一位 leader 去看畫布、列待辦並分派。Steve 提到要處理共享狀態，以及 agent 工作時近乎看不見彼此的問題。
• 桌面版讓 agent 直接寫程式瀏覽器版有安全限制，團隊改用桌面 app，開一個接收 JavaScript 並執行的 endpoint。Steve 明說這個做法在一般 app 上是壞主意。
• 風險交給使用者Steve 認為要把 agent 的能力發揮到最大，就得把風險交給使用者，並以 OpenClaw 為例，說這是「sharp tools」。

原話

• “It is using text-structured outputs to make the same things that I could make, right?”

  它用的是文字結構化輸出，做出我自己也能做出的東西

  ▶ 05:22

• “it felt like I was handing my keyboard to some other AI, rather than someone collaborating with me.”

  感覺像把鍵盤交給別的 AI，而不是跟人協作

  ▶ 08:48

• “Fairies is a great way to talk about like multiple agents kind of working together.”

  fairies 是談多個 agent 一起工作的好例子

  ▶ 12:37

• “It has no qualms at all, by the way, changing stuff that's on your desktop, on your computer.”

  它完全不會猶豫去改你桌面、你電腦上的東西

  ▶ 16:19

• “I think OpenClaw does this pretty well. These are sharp tools. Have fun, you know?”

  我覺得 OpenClaw 在這點做得不錯，這些是利器，玩得開心

  ▶ 18:50

延伸

• Steve 說 tldraw 的 SDK 是 React 元件，也有 runtime API 可以寫程式操作，但沒有說明細節。
• Steve 提到教育場景中 tutor 式的用法，只以填表單為例，沒有展開。
• 最後的互動 demo 沒有跑成，Steve 說之後會再讓它跑起來。