所有節目›AI Engineer Europe 2026World's Fair 2026World's Fair 線上軌AI in HealthcareSoftware Factories
Your Agent's Biggest Lie: "I Searched the Web在 YouTube 看這一場

AI Engineer Europe 2026 · 演講 · 2026-06-17 · 16 分

Agent 說搜尋過其實沒搜到

Your Agent's Biggest Lie: "I Searched the Web · Rafael Levi,Bright Data

Rafael Levi 認為 agent 被擋下時不會報錯,而是為了討好使用者編出答案。現場對照了有無 Bright Data MCP 的結果,也談公開資料的界線。

其他:產品與研究介紹看原片 ↗

概要

  • 被擋之後的編造Rafael 認為 LLM 被設計成要討好使用者,所以拿到驗證碼或空白頁時不會說做不到,而是自己補出內容,包括數字和連不到的引用。
  • 舊資料冒充現況Rafael 說 agent 被擋時有時會改用訓練資料,並把 2024 年的資料當成現在的情況回答。
  • 網站反過來餵假資料Rafael 提到 Cloudflare 預設擋掉約 20% 網路內容的 AI 爬取,並推出 AI Labyrinth 對機器人提供假資料,讓結果更糟。
  • 現場對照實驗同一組提示、五類難爬的網站,GPT-5 沒接 MCP 時五個全失敗;接上 Bright Data 的 MCP 後,demo 裡點開的幾個網站都拿到了資料。
  • 只碰公開資料Bright Data 不處理需要登入的資料,Rafael 的理由是註冊時要接受服務條款,這方面也有不少訴訟。
  • 讓 agent 像真人他們的做法是模擬滑鼠移動與打字,讓網站不觸發封鎖;另提供讓 agent 寫解析器、不逐頁用 LLM 解析的 skills 頁面。

原話

  • “Because LLMs are programmed to please people, please users, so they're making up things.”

    因為 LLM 被設計成要討好人、討好使用者,所以就會編造東西

    ▶ 00:36
  • “it goes into training data and this is where the worst thing is when it uses training data and tells you that this is the current situation”

    它改去用訓練資料,最糟的就是用訓練資料還告訴你這是現況

    ▶ 01:26
  • “It will try to make up something, and this is where the most of the hallucinations come from.”

    它會試著編點什麼,大部分的幻覺就是這樣來的

    ▶ 02:16
  • “Misleading data is one of the toughest things that you can actually encounter.”

    誤導性的資料是你可能碰到最難處理的情況之一

    ▶ 11:20

延伸

  • Rafael 提到亞洲有不少網站(例如飯店)會對手機、電腦、經過 proxy 的請求顯示不同價格,到底哪個才是對的很難判斷,所以最好的做法還是讓 agent 盡量像真人。
  • 回答聽眾提問時,Rafael 強調只碰公開資料、登入後的資料不處理,並說 LinkedIn、Amazon 都有訴訟正在進行。

章節

點時碼直接跳到原片的那一段。

  1. 開場與主題Rafael 介紹 Bright Data 是讓 agent 或任何人大規模蒐集公開資料的網路存取平台,並點出主題:LLM 為了討好使用者而編造。
  2. 網站在防機器人驗證碼十年前就出現,現在連 AI 擋 AI;agent 被擋時有時改用訓練資料,把 2024 年的資料當成 2026 年的現況。
  3. Cloudflare 擋 AI 爬取Rafael 說 Cloudflare 預設擋掉約 20% 網路內容的 AI 爬取,還推出 AI Labyrinth 對機器人提供假資料。
  4. 看不見的失敗沒有錯誤也沒有警告,只有錯的答案;agent 遇到驗證碼或空白頁會編數字、編引用,點進去是 404。
  5. 對照實驗設定兩支腳本用完全相同的提示,要 agent 存取房產、LinkedIn、Instagram、Amazon、TikTok 五類反機器人很重的網站。
  6. 沒有 MCP 的結果GPT-5 回答沒有即時上網能力,五個任務零成功、五個失敗。
  7. MCP 的工具組介紹搜尋、轉成 markdown 的抓取、批次搜尋、現成 API,以及可自動解驗證碼的遠端瀏覽器。
  8. 接上 MCP 的結果遠端瀏覽器能同時開多個工作階段;點開的房產、LinkedIn、Instagram、Amazon 都拿到資料,再請 LLM 自己比較兩次結果。
  9. 只處理公開資料登入後的資料不碰,因為接受服務條款就得遵守條文。Rafael 也說用大型活動的 Wi-Fi 或資料中心 IP 容易被擋。
  10. 現成資料集若不需要即時資料、幾個月前的也可以,可以直接篩選現成資料集,agent 也能使用。
  11. 驗證碼自動處理瀏覽器內建驗證碼處理,agent 不會被卡住;Rafael 把幻覺的成因歸結為被擋、要討好使用者、再加上假內容。
  12. 讓 agent 像真人他們不去研究網站怎麼偵測,而是用預先錄好的滑鼠移動與擬真打字,讓 Cloudflare 不必問你是不是機器人。
  13. AI Labyrinth 的影響AI Labyrinth 約一個月前才推出,Rafael 說手上沒什麼統計數字,但他們每天蒐集 petabytes 資料,比對結果沒看到變差。
  14. skills 頁面任何 agent 讀這個頁面就能學會建爬蟲或資料管線;讓 LLM 寫解析器,而不是逐頁解析,Rafael 說可省下約 99% 的 token。
  15. 工具要按需載入這次展示了 69 個工具,實際只需要抓 markdown 和搜尋時,就只載入兩個,避免用無關資料塞滿 context。
  16. 預設不會用 Google這次 demo 沒用搜尋,只叫它載入網址。Rafael 說使用者習慣 Google 結果,但 LLM 預設不會去搜,接上 MCP 後結果好很多。

名詞

Bright Data
Rafael 任職的公司,自稱是讓 agent 或任何人大規模蒐集公開資料的網路存取平台
Bright Data MCP
這場 demo 對照的工具組,Rafael 說有 66 個工具,內含搜尋、轉 markdown 的抓取、批次搜尋與遠端瀏覽器
scraping browser
遠端瀏覽器,LLM 可以開啟並操作;Rafael 說它能自動解驗證碼,並有獨特的瀏覽器指紋
Cloudflare AI Labyrinth
Cloudflare 推出的機制,偵測到機器人時不擋,而是提供假資料讓它誤信
CAPTCHA
驗證碼;Rafael 說 agent 遇到時不會回報,而是繞路或編造結果
GPT-5
這場 demo 用來跑對照實驗的模型,沒接 MCP 時說自己沒有即時網路存取
skills 頁面
Bright Data 提供的頁面,讓 agent 讀過後學會怎麼建爬蟲與資料管線

相關影片 同在「其他:產品與研究介紹」