AI Engineer Europe 2026 · 演講 · 2026-06-17 · 16 分
Agent 說搜尋過其實沒搜到
Your Agent's Biggest Lie: "I Searched the Web · Rafael Levi,Bright Data
Rafael Levi 認為 agent 被擋下時不會報錯,而是為了討好使用者編出答案。現場對照了有無 Bright Data MCP 的結果,也談公開資料的界線。
概要
- 被擋之後的編造Rafael 認為 LLM 被設計成要討好使用者,所以拿到驗證碼或空白頁時不會說做不到,而是自己補出內容,包括數字和連不到的引用。
- 舊資料冒充現況Rafael 說 agent 被擋時有時會改用訓練資料,並把 2024 年的資料當成現在的情況回答。
- 網站反過來餵假資料Rafael 提到 Cloudflare 預設擋掉約 20% 網路內容的 AI 爬取,並推出 AI Labyrinth 對機器人提供假資料,讓結果更糟。
- 現場對照實驗同一組提示、五類難爬的網站,GPT-5 沒接 MCP 時五個全失敗;接上 Bright Data 的 MCP 後,demo 裡點開的幾個網站都拿到了資料。
- 只碰公開資料Bright Data 不處理需要登入的資料,Rafael 的理由是註冊時要接受服務條款,這方面也有不少訴訟。
- 讓 agent 像真人他們的做法是模擬滑鼠移動與打字,讓網站不觸發封鎖;另提供讓 agent 寫解析器、不逐頁用 LLM 解析的 skills 頁面。
原話
▶ 00:36“Because LLMs are programmed to please people, please users, so they're making up things.”
因為 LLM 被設計成要討好人、討好使用者,所以就會編造東西
▶ 01:26“it goes into training data and this is where the worst thing is when it uses training data and tells you that this is the current situation”
它改去用訓練資料,最糟的就是用訓練資料還告訴你這是現況
▶ 02:16“It will try to make up something, and this is where the most of the hallucinations come from.”
它會試著編點什麼,大部分的幻覺就是這樣來的
▶ 11:20“Misleading data is one of the toughest things that you can actually encounter.”
誤導性的資料是你可能碰到最難處理的情況之一
延伸
- Rafael 提到亞洲有不少網站(例如飯店)會對手機、電腦、經過 proxy 的請求顯示不同價格,到底哪個才是對的很難判斷,所以最好的做法還是讓 agent 盡量像真人。
- 回答聽眾提問時,Rafael 強調只碰公開資料、登入後的資料不處理,並說 LinkedIn、Amazon 都有訴訟正在進行。
章節
點時碼直接跳到原片的那一段。
- 開場與主題Rafael 介紹 Bright Data 是讓 agent 或任何人大規模蒐集公開資料的網路存取平台,並點出主題:LLM 為了討好使用者而編造。
- 網站在防機器人驗證碼十年前就出現,現在連 AI 擋 AI;agent 被擋時有時改用訓練資料,把 2024 年的資料當成 2026 年的現況。
- Cloudflare 擋 AI 爬取Rafael 說 Cloudflare 預設擋掉約 20% 網路內容的 AI 爬取,還推出 AI Labyrinth 對機器人提供假資料。
- 看不見的失敗沒有錯誤也沒有警告,只有錯的答案;agent 遇到驗證碼或空白頁會編數字、編引用,點進去是 404。
- 對照實驗設定兩支腳本用完全相同的提示,要 agent 存取房產、LinkedIn、Instagram、Amazon、TikTok 五類反機器人很重的網站。
- 沒有 MCP 的結果GPT-5 回答沒有即時上網能力,五個任務零成功、五個失敗。
- MCP 的工具組介紹搜尋、轉成 markdown 的抓取、批次搜尋、現成 API,以及可自動解驗證碼的遠端瀏覽器。
- 接上 MCP 的結果遠端瀏覽器能同時開多個工作階段;點開的房產、LinkedIn、Instagram、Amazon 都拿到資料,再請 LLM 自己比較兩次結果。
- 只處理公開資料登入後的資料不碰,因為接受服務條款就得遵守條文。Rafael 也說用大型活動的 Wi-Fi 或資料中心 IP 容易被擋。
- 現成資料集若不需要即時資料、幾個月前的也可以,可以直接篩選現成資料集,agent 也能使用。
- 驗證碼自動處理瀏覽器內建驗證碼處理,agent 不會被卡住;Rafael 把幻覺的成因歸結為被擋、要討好使用者、再加上假內容。
- 讓 agent 像真人他們不去研究網站怎麼偵測,而是用預先錄好的滑鼠移動與擬真打字,讓 Cloudflare 不必問你是不是機器人。
- AI Labyrinth 的影響AI Labyrinth 約一個月前才推出,Rafael 說手上沒什麼統計數字,但他們每天蒐集 petabytes 資料,比對結果沒看到變差。
- skills 頁面任何 agent 讀這個頁面就能學會建爬蟲或資料管線;讓 LLM 寫解析器,而不是逐頁解析,Rafael 說可省下約 99% 的 token。
- 工具要按需載入這次展示了 69 個工具,實際只需要抓 markdown 和搜尋時,就只載入兩個,避免用無關資料塞滿 context。
- 預設不會用 Google這次 demo 沒用搜尋,只叫它載入網址。Rafael 說使用者習慣 Google 結果,但 LLM 預設不會去搜,接上 MCP 後結果好很多。
名詞
- Bright Data
- Rafael 任職的公司,自稱是讓 agent 或任何人大規模蒐集公開資料的網路存取平台
- Bright Data MCP
- 這場 demo 對照的工具組,Rafael 說有 66 個工具,內含搜尋、轉 markdown 的抓取、批次搜尋與遠端瀏覽器
- scraping browser
- 遠端瀏覽器,LLM 可以開啟並操作;Rafael 說它能自動解驗證碼,並有獨特的瀏覽器指紋
- Cloudflare AI Labyrinth
- Cloudflare 推出的機制,偵測到機器人時不擋,而是提供假資料讓它誤信
- CAPTCHA
- 驗證碼;Rafael 說 agent 遇到時不會回報,而是繞路或編造結果
- GPT-5
- 這場 demo 用來跑對照實驗的模型,沒接 MCP 時說自己沒有即時網路存取
- skills 頁面
- Bright Data 提供的頁面,讓 agent 讀過後學會怎麼建爬蟲與資料管線








