AI Engineer Europe 2026 · 演講 · 2026-06-07 · 25 分
用 agent 寫爬蟲省 token
From MCP to Scale: Pipelines That Build Themselves · Rafael Levi，Bright Data
Rafael Levi 示範讓 Claude Code 搭配 Bright Data MCP 先寫出爬蟲、再用腳本抓資料，不必讓 LLM 逐頁讀 HTML，也談到公開資料的法律界線。
概要
- 別讓 LLM 逐頁解析Rafael 的做法是請 agent 寫一支爬蟲，由腳本去解析頁面；光是三頁商品，省下的量就約一百萬 tokens。
- 爬蟲交給 agent 維護Rafael 自己每 30 分鐘會叫起一個 LLM 檢查收集到的資料，缺了資料就讓 agent 在五分鐘內修好，不用半夜起床處理。
- MCP 讓 agent 進得去被擋的網站這組 MCP 有 66 個工具，包括替 agent 送出請求並取回 HTML、約 500 個預先建好的 API，以及遠端瀏覽器。
- 現場對照有無 MCP同樣搜尋 Walmart 的 headphones，沒接 MCP 時抓取被擋在機器人驗證畫面，接上之後拿得到商品列表。
- 個人用途也成立Rafael 用同樣方式盯房源，幾天後收到通知就搬了進去，還有一個等訂位的監聽已經跑了兩個月。
- 只碰公開資料Rafael 強調只處理登入之外的公開資料，要使用者自己看網站條款，並轉述法官認為公開資料就是公開資料。
原話
▶ 00:53“build a scraper that's going to parse it for me”
請它寫一支爬蟲來解析，而不是自己逐頁解析
▶ 01:27“sometimes you maintain it more than it takes you to write it”
有時候維護它比寫它還花時間
▶ 10:32“It can pull a full HTML. It can pull just the scrape as a markdown.”
可以拿回完整 HTML，也可以只拿 Scrape as Markdown 的文字
▶ 22:05“If it can build a scraper, it can maintain the scraper.”
能寫爬蟲，就能維護爬蟲
▶ 24:59“let's keep the public data public”
公開資料就該維持公開
延伸
- Rafael 說這組 MCP 對 Akamai、Cloudflare 這類重度防護的網域最有用，這些網域常是房地產與大型電商，也是資料最有價值的地方。
- 瀏覽類的 agent 不必用頂級模型：Rafael 說 Claude 的較小型號就夠，因為遠端瀏覽器已經把操作模擬成真人。
章節
點時碼直接跳到原片的那一段。
- 問題：大規模抓資料抓上萬個商品如果全交給 LLM 解析，tokens 太多；Rafael 的答案是讓 LLM 建出一條 pipeline，而不是自己逐頁解析。
- 爬蟲的維護之苦寫爬蟲之後的維護常比寫還花時間，網站一改 selector 或是 React 網站就更麻煩；agent 可以自己探索、寫、執行並維護。
- 自己的監控做法Rafael 每 30 分鐘叫起一個 LLM 檢查收集結果，資料有缺就讓 agent 修，不必半夜起床。
- Demo：用 Claude Code 建爬蟲以 Claude Code 為例，Bright Data 的 GitHub 頁面放了給 agent 用的 skills，請它對 Walmart 搜尋 headphones 抓三頁。
- agent 怎麼動手agent 先取得 skills，再透過 MCP 抽出頁面 HTML、找出 selector，然後產生爬蟲；Scrape as Markdown 只回傳文字，不含 HTML。
- 為什麼比逐頁解析好Rafael 說三頁商品光是建爬蟲加腳本解析，就省下約一百萬 tokens；也可以拿來找評價最好的耳機。
- 個人用途：房源監聽Rafael 請 agent 每半小時檢查指定區域的私人住宅，符合價格就通知，幾天後就搬進去了。
- 基礎設施Bright Data 有超過 150 million 個 IP 與解鎖技術，遠端瀏覽器跑在他們的伺服器上，Rafael 說從一台筆電就能同時開一千個。
- 66 個工具與預建 API其中一類工具能代送請求、必要時解驗證，回傳完整 HTML 或 Markdown；另有約 500 個依網域預建的 API，直接回 JSON。
- 有無 MCP 對照沒接 MCP 時 fetch 被擋，出現機器人或真人的驗證畫面；接上後改用 Scrape as Markdown，拿到完整商品列表。
- tokens 的帳Rafael 一天用掉好幾百萬 tokens，所以在乎怎麼省；現場請 agent 列出這次的 token 明細，數字不算大。
- 看產出的爬蟲展示 agent 寫出的程式：用 Web Unlocker 取資料、有解析器、有輸出 schema，兩個輸入是關鍵字與頁數。
- 執行腳本只花一點 tokens跑腳本只要約 100 tokens，之後再對輸出的 JSON 提問；Rafael 說 JSON 比 Markdown 等格式更省 tokens。
- 公開資料與法律只處理公開資料，登入後的不碰，也提醒要看網站條款。Bright Data 被 Meta 與 Elon Musk 告過、贏了幾場官司，法官的說法是公開資料就是公開資料。
- 總結：自我修復的 pipeline能進得去就能寫爬蟲，能寫就能維護；這組 MCP 對受保護的網域最有用，並再舉等訂位的例子。
- 遠端瀏覽器模擬真人查機票這類網址是雜湊的網站，要讓 agent 開遠端瀏覽器點按鈕；滑鼠與打字都是預先錄好的真人行為。
名詞
- Bright Data
- Rafael 任職的公司，這場示範的 MCP、skills 與遠端瀏覽器都是他們的產品
- Bright Data MCP
- 有 66 個工具，讓 agent 能取回被擋網站的 HTML 或文字
- Bright Data skills
- 放在 GitHub 上，教 LLM 如何用 MCP 抽 HTML、找 selector 並建出爬蟲
- Scrape as Markdown
- MCP 的工具之一，只回傳頁面文字，不含 HTML 標籤，用來省 tokens
- Web Unlocker
- demo 裡 agent 寫的爬蟲所用的請求方式，Rafael 說與 Scrape as Markdown 是同一類
- Claude Code
- 這場 demo 用的 coding agent，Rafael 覺得比 Codex 少麻煩
- Codex
- Rafael 提到的另一個選擇，說有時會帶人繞遠路
- 遠端瀏覽器
- 跑在 Bright Data 伺服器上的瀏覽器，可指定地區的 IP，並模擬真人的滑鼠與打字
