第 3 站 · 餵 context該站第 1 / 9 場
幫瀏覽器 agent 換上一雙眼睛
Browser Agents Don't Need Better Models. They Need Better Eyes. - Kushan Raj, ARK
講者展示自己打造的瀏覽器 agent 基礎設施，用壓縮過的網頁表示法取代龐大 DOM，讓 agent 花更少 token 就能看懂頁面、快速完成操作任務。
重點摘要
- 問題觀察：browser agent 概念很吸引人，但講者自己也很少用，因為現有 agent 常常卡在單一步驟上耗掉大量時間。
- 核心主張：瓶頸不在模型不夠聰明，而在讓 agent 觀察與操作瀏覽器的基礎設施太差。
- 解法：把整個網頁壓縮成一種輕量表示法，讓 agent 用很少 token 就能看懂整頁狀態，並拿到「哪些元素新增、消失、被擋住」的即時回饋。
- 實測效果：不管是下載官方文件還是在陌生語言的網站上訂位，講者自己的版本都比直接讓 Claude 操作瀏覽器快上許多。
- 下一步：考慮開源，或做成一個「給網址、給意圖」就能執行任務的 API，目標是讓瀏覽器自動化變得更便宜、更可靠。
時間軸8 段
| 00:00 | 開場 | Kushan Raj（ARK）自我介紹，說明自己雖然覺得 browser agent 概念很酷，但實際上很少用它。 |
| 00:15 | 問題示範 | 用一個瀏覽器 benchmark 展示，agent 光是點一個開始按鈕就要花十幾秒，凸顯現有方案有多慢。 |
| 01:05 | 核心主張 | 講者主張問題不在模型不夠聰明，而是缺乏一個好環境讓 agent 觀察與操作頁面、規劃長序列的動作。 |
| 01:22 | 案例一：下載 Aadhaar | 讓 Claude 直接操作瀏覽器下載官方身分文件，結果卡在同一步驟耗掉將近兩分鐘；換成他的版本則很快完成。 |
| 02:14 | 案例二：訂位網站 | 面對一個 Kannada 語系的訂位網站，Claude 卡在選日期就中斷；換成他的版本則順利選好日期、完成訂位。 |
| 02:50 | 下一步規劃 | 考慮把專案開源，或包裝成一個吃網址與使用者意圖、直接執行任務並回傳結果的 API。 |
| 03:31 | token 用量比較 | 完整 DOM 表示一個頁面大約要兩萬 token，他的壓縮表示法只要約一千八百 token。 |
| 03:47 | 回饋機制 | 系統會標出頁面上新增、消失、擋住點擊的元素變化，讓 agent 隨時掌握目前的頁面狀態。 |
值得記的話4 句
Models are pretty smart, but it's the infra around them that sucks.
模型其實很聰明，問題出在它們周邊的基礎設施太糟00:47So my core thesis here has been, give a nice environment for the agent to use, right?
我的核心主張是，給 agent 一個好用的環境01:05Give me your URL, give me your intent, and I will execute it for you and give it back to you.
給我網址、給我你的意圖，我就幫你執行任務並把結果交還給你02:50What I built is a very clean representation that basically compresses the website, and you can give this along with a screenshot.
我做出來的東西是一種很乾淨的表示法，把整個網站壓縮起來，還可以搭配截圖一起用04:04
名詞與人物5 個
- browser agent
- 能操作瀏覽器完成任務的 AI agent，是這場演講的核心主題。
- Claude
- 講者在示範案例中拿來操作瀏覽器的模型。
- Aadhaar
- 印度的官方身分識別文件，講者用「下載自己的 Aadhaar」當第一個示範案例。
- Kannada
- 印度南部的語言，講者用一個 Kannada 語系的訂位網站當第二個示範案例。
- DOM
- 網頁的完整結構化表示，講者拿它跟自己壓縮過的頁面表示法比較 token 用量。
提到但沒有展開
- 講者提到未來可能把這個專案開源，或包裝成對外的 API，但沒有進一步說明時程或商業模式。
- 開場用來對比效能的瀏覽器 benchmark，講者沒有講出正式名稱，也沒有進一步介紹它的來源或用途。