013 · 幫瀏覽器 agent 換上一雙眼睛
講者展示自己打造的瀏覽器 agent 基礎設施，用壓縮過的網頁表示法取代龐大 DOM，讓 agent 花更少 token 就能看懂頁面、快速完成操作任務。
原標題：Browser Agents Don't Need Better Models. They Need Better Eyes. - Kushan Raj, ARK
重點摘要
- 問題觀察browser agent 概念很吸引人，但講者自己也很少用，因為現有 agent 常常卡在單一步驟上耗掉大量時間。
- 核心主張瓶頸不在模型不夠聰明，而在讓 agent 觀察與操作瀏覽器的基礎設施太差。
- 解法把整個網頁壓縮成一種輕量表示法，讓 agent 用很少 token 就能看懂整頁狀態，並拿到「哪些元素新增、消失、被擋住」的即時回饋。
- 實測效果不管是下載官方文件還是在陌生語言的網站上訂位，講者自己的版本都比直接讓 Claude 操作瀏覽器快上許多。
- 下一步考慮開源，或做成一個「給網址、給意圖」就能執行任務的 API，目標是讓瀏覽器自動化變得更便宜、更可靠。
時間軸
時碼點下去會跳到影片的那一段。
| 時碼 | 段落 | 重點 |
|---|---|---|
| 00:00 | 開場 | Kushan Raj（ARK）自我介紹，說明自己雖然覺得 browser agent 概念很酷，但實際上很少用它。 |
| 00:15 | 問題示範 | 用一個瀏覽器 benchmark 展示，agent 光是點一個開始按鈕就要花十幾秒，凸顯現有方案有多慢。 |
| 01:05 | 核心主張 | 講者主張問題不在模型不夠聰明，而是缺乏一個好環境讓 agent 觀察與操作頁面、規劃長序列的動作。 |
| 01:22 | 案例一：下載 Aadhaar | 讓 Claude 直接操作瀏覽器下載官方身分文件，結果卡在同一步驟耗掉將近兩分鐘；換成他的版本則很快完成。 |
| 02:14 | 案例二：訂位網站 | 面對一個 Kannada 語系的訂位網站，Claude 卡在選日期就中斷；換成他的版本則順利選好日期、完成訂位。 |
| 02:50 | 下一步規劃 | 考慮把專案開源，或包裝成一個吃網址與使用者意圖、直接執行任務並回傳結果的 API。 |
| 03:31 | token 用量比較 | 完整 DOM 表示一個頁面大約要兩萬 token，他的壓縮表示法只要約一千八百 token。 |
| 03:47 | 回饋機制 | 系統會標出頁面上新增、消失、擋住點擊的元素變化，讓 agent 隨時掌握目前的頁面狀態。 |
值得記的話
名詞與人物
| browser agent | 能操作瀏覽器完成任務的 AI agent，是這場演講的核心主題。 |
|---|---|
| Claude | 講者在示範案例中拿來操作瀏覽器的模型。 |
| Aadhaar | 印度的官方身分識別文件，講者用「下載自己的 Aadhaar」當第一個示範案例。 |
| Kannada | 印度南部的語言，講者用一個 Kannada 語系的訂位網站當第二個示範案例。 |
| DOM | 網頁的完整結構化表示，講者拿它跟自己壓縮過的頁面表示法比較 token 用量。 |
延伸
- 講者提到未來可能把這個專案開源，或包裝成對外的 API，但沒有進一步說明時程或商業模式。
- 開場用來對比效能的瀏覽器 benchmark，講者沒有講出正式名稱，也沒有進一步介紹它的來源或用途。