RAG 沒死，只是變成多步檢索

概要

• 重新定義 RAG 與 agentic searchKuba 說多數人把 RAG 想成單純的向量搜尋，Turbopuffer 則認為檢索還包含全文檢索（BM25）、grep、glob、regex 與基本過濾；agentic search 則定義成給 agent 一組工具，讓它逐步、反覆地找出並推理上下文。
• Cursor 把程式碼庫先索引起來Cursor 在開啟程式碼庫時會切塊並嵌入，供語意搜尋使用。Kuba 轉述他們的部落格，說團隊裡的人大多在看同一份程式碼庫，所以用 Merkle tree 比對，只重新處理有變動的檔案。
• 語意搜尋有可量到的好處照 Kuba 的轉述，Cursor 內部基準測試中各模型的答案準確率平均提升約 12.5% 或 13.5%，Composer 模型則近 24%。線上 A/B 測試的數字看起來較小，原因是並非每個查詢都用得到語意搜尋。
• 嵌入是「快取起來的運算」Claude Code 每個 session 都要重新 grep、讀檔、判斷，Cursor 則先付一次索引成本，執行時用輕量工具查詢。Kuba 認為後者省 token、省時間、省錢。
• 檢索從一次呼叫變成迴圈Kuba 觀察到比較進階的客戶已在做 agentic search，agent 會做大量呼叫，依需要混用語意與全文搜尋，只取回當下需要的內容。

原話

• “it's really giving the agents a set of tools to kind of progressively and iteratively find and reason over context.”

  其實是給 agent 一組工具，讓它逐步、反覆地找出並推理上下文。這是 Kuba 對 agentic search 的定義

  ▶ 02:45

• “embeddings and semantic search are kind of cache compute.”

  嵌入與語意搜尋算是一種快取起來的運算。Kuba 說這是 Turbopuffer 內部的想法

  ▶ 06:30

• “retrieval is no longer just this simple one-time call to VectorDB.”

  檢索不再只是對向量資料庫的一次簡單呼叫

  ▶ 09:28

• “you don't need a trillion at once, you need the right million.”

  你不需要一次塞進一兆，你需要的是對的那一百萬。這句是 Kuba 轉述 Jeff Dean 的話

  ▶ 10:18

延伸

• Kuba 說有客戶在 Turbopuffer 裡嵌入了數兆個 token，重點是縮到對的一百萬再放進上下文視窗。
• Kuba 解釋 Cursor 為什麼要重用索引：一個 100 人的團隊多半只在一兩個程式碼庫上工作，每次都重新切塊、嵌入、上傳很貴。