讓 agent 看見你所見的畫面

034Antje Barth（Amazon AGI Lab）21:442026-07-23 上架

Perception Agents — Antje Barth, Amazon AGI Lab

Antje Barth 認為 agent 會點按鈕只是起點，難的是可靠地完成整件工作。演講提出 perception agent 的概念，並開源標註與驗證兩個工具。

這場講了什麼

• 點擊已經不難，整件工作才難：Antje Barth 指出 agent 單做每一步大多沒問題，但像新人報到這種可能橫跨五個系統、沒人從頭管到尾的流程，卡在各個應用程式之間的縫隙。
• 下一關是可靠度：能力大致補齊了，缺的是可靠。完成率 60% 到 80% 聽起來還行，但四次就有一次刪掉資料庫，沒有人會再用，所以要追求的是「幾個 9」。
• 寫程式先被解決，因為答案可驗證：程式能跑、能測、能確認有效。多數知識工作沒有 unit test，報告有沒有到位、設計合不合品牌，都很難驗證。
• 缺的是共享的畫面，不是更大的腦：人處理雜亂的工作，靠的是找同事一起看同一個畫面。Antje 主張 agent 也該像機器人那樣走完感知、規劃、行動，並在使用者還在操作時就能跟上。
• 開源兩個工具：標註工具讓使用者直接在畫面上指出要改的地方，驗證工具讓 agent 對照設計規範檢查自己的成果，並走一遍使用流程。
• 感知不只靠眼睛：Antje 和同事在大會現場用會錄逐字稿的裝置開了一場設計會議，會議摘要按下 Apply 就送給 agent 改網站，並自動跑驗證。

影片從哪一段開始看13 段

1. 00:36從點擊到真正的工作一年前的難題是讓 agent 在沒看過的畫面上找到按鈕，現在能操作瀏覽器與桌面應用，但點擊只是容易的那一半。
2. 01:25新人報到的例子開帳號、加進 Slack 頻道、安排跟同事認識、訂筆電，可能牽涉五個系統卻沒人負責到底；agent 每一步都做得來，串成整件事就垮。
3. 03:17能力夠了，缺可靠度工具使用、串接 agent 這些能力大致補上了；完成率 60% 到 80% 不夠，要追求幾個 9。
4. 04:26為什麼寫程式先被解決從自動補全、寫函式到開 pull request，現在幾乎沒人逐行檢查；關鍵在程式碼可以執行與測試。
5. 06:13知識工作沒有 unit test報告有沒有到位、設計符不符合品牌，驗證在多數工作所在之處撞牆，這塊還沒有人解開。
6. 07:34人怎麼處理雜亂工作人是找同事開會、看同一個畫面、兩分鐘搞定；需要的是共享的情境，不是更大的腦。
7. 08:56感知、規劃、行動現在的 agent 送出動作就走人，不看結果；Antje 借用機器人的迴圈，並希望 agent 在使用者操作時就能同步給建議。
8. 11:42perception agent 的三個好處能讀渲染後的畫面確認成果、不需要 API，也能讓使用者直接指著畫面下指令，比文字精準。
9. 13:26開源的兩個元件Antje 宣布最近開源 perception agent harness 的前兩塊：標註與驗證。
10. 14:01標註工具示範Chrome 擴充功能，可框選或點選元素並加上說明，自動整理位置與樣式，交給 agent 實作，不必來回溝通。
11. 15:07驗證工具示範依 design MD 裡的規範，做視覺檢查，也像真人使用者那樣新增、刪除任務，最後產出可審閱的報告。
12. 16:40沒有螢幕時：會議錄音Antje 與同事用穿戴裝置錄下設計會議，摘要按 Apply 送給 agent，把背景改黃、標題改紅，並立刻跑驗證。
13. 19:34呼籲試用與回饋這兩塊只是開頭，其餘部分會公開開發，請聽眾試用並回報缺了什麼。

值得記的話5 句

• What we didn't solve is the actual work.我們沒解決的是真正的工作01:10

• one in four times deletes the database, You will never touch that agent again, right?如果 agent 每四次就有一次刪掉資料庫，你就再也不會碰它了，對吧04:11

• Why was coding first solved? It's because code is verifiable.為什麼寫程式最先被解決？因為程式碼可以驗證05:55

• You don't necessarily need a bigger brain. What you need is this shared context.你不一定需要更大的腦，你需要的是這份共享的情境08:34

• We want to build AI that makes all of us smarter together.我們想打造讓大家一起變得更聰明的 AI20:07

名詞與人物6 個

perception agent

Antje Barth 團隊的稱呼：能像使用者一樣讀畫面、確認自己的成果，並在使用者操作時同步反應的 agent

perception agent harness

Amazon AGI Lab 開源的一套工具，目前釋出標註與驗證兩塊

annotation（標註）

Chrome 擴充功能，可在畫面上選取元素、寫下修改意見，整理成 agent 能執行的摘要

verification（驗證）

讓 agent 依設計規範檢查自己的成果，含視覺檢查與走使用流程，最後產出報告

design MD

用 Markdown 寫下顏色、元件、版面等設計規則的檔案，驗證時拿來當標準

Amazon AGI Lab

Antje Barth 任職的實驗室，perception agent harness 由這裡開源

提到但沒有展開

• 「感知」指的是像人一樣接收畫面：看現在的狀態、剛剛改了什麼，而不是去爬頁面背後的程式碼。
• 驗證報告若發現不符規範，使用者可以選擇修改設計規範，或回頭調整成果。

Agent開發工具評估開源

在 YouTube 看原片 ↗