Pinecone

052 · 向量資料庫與 RAG 的實際用法

31:28YouTube 上架 2024-02-22Edo Liberty（Pinecone CEO）

No Priors Ep. 52 | With Pinecone CEO Edo Liberty

Edo Liberty 談向量資料庫為何撐得起 RAG、serverless 版要解決什麼，以及長 context 與 fine-tuning 的取捨。

052 講了什麼

• 向量資料庫存的是 embeddingEdo 說模型讀文件或圖片時存的不是文字或像素，而是數字表示，也就是 embedding 或 vector。向量資料庫就是在大規模下存取、搜尋這些東西。
• RAG 用來補知識、壓幻覺問問題當下才去找相關資料放進 context。Edo 說 Pinecone 把 Common Crawl 載進來測過，幾個模型加上 RAG 後幻覺最多可降 50%，各模型的準確度也變得接近。
• serverless 解的是規模與成本Edo 說後來發現重點不是低延遲，而是要灌進 hundreds of millions、billions 甚至 tens of billions 筆向量、費用不能爆炸、還要好上手。serverless 是整個資料庫第四次幾乎完全重寫。
• 為什麼不用既有資料庫Edo 認為小工作量時 Postgres 之類的做法可以用，但要上線、要擴大、要算得出單位成本時就會碰壁，因為向量索引在那些產品裡是外掛上去的功能。
• 長 context 不是解答Edo 說把資料全塞進 context 只是多付錢，不一定更準，也不可能無限延伸。已經有使用者的模型只有幾十億參數（a few billion），旁邊接的向量資料庫卻有數兆（trillions）參數，效果反而好得多。
• 隱私與 fine-tuning不拿專有資料微調模型，查詢時才取回資料當 context、只做 inference 不留紀錄，要刪資料時從資料庫刪掉即可。Edo 說 fine-tuning 做得好有幫助，但沒有專業團隊可能越調越差。

從哪一段開始看15 段

1. 00:05開場Sarah 開場（說今天是 Elad 和自己一起訪問），介紹 Pinecone 創辦人兼 CEO Edo Liberty；Edo 之前是 AWS AI Labs 的研究總監，更早在 Yahoo。這集的主題是 RAG 架構與讓 LLM 更可靠。
2. 00:37向量資料庫是什麼處理已被模型向量化的資料。Edo 說剛開創這個類別時，有人質疑 vector 是什麼、為什麼要為它做資料庫。
3. 01:432019 年創業的時機主持人問生成式 AI 還沒起來時的想法。Edo 說深度學習和 BERT 這類模型當時已經在用，自己創業前有幾個月在「太晚」和「太早」之間來回擺盪。
4. 03:16RAG 與 Common Crawl 實驗把相關資訊帶進 context；Pinecone 拿 Common Crawl 加到多個模型上，幻覺最多降 50%，專有資料上品質也很高。
5. 06:00客戶與資料類型多數客戶用自家資料，文字仍是主流。Edo 舉 Notion Q&A 與 Gong 為例，它們都把自己客戶的文字拿來做搜尋與生成。
6. 07:34serverless主持人把 serverless 跟 canopy 混在一起問。Edo 先澄清 canopy 是開源的教學框架，serverless 就是拿掉上限的 Pinecone 本身，重點是規模、成本與易用；已用 tens and tens of billions 筆向量測過。
7. 10:15canopy 的用意完整的 RAG 產品要處理切塊、embedding、查詢改寫、rerank。canopy 是開源的端到端範例，讓人先跑起來再針對自己的資料改進。
8. 11:50為什麼不用既有資料庫對照 Postgres 的 pgvector、Elastic 等。Edo 說向量索引在那些產品裡是外掛，小規模可以，上線後在規模與成本取捨上撐不住；關鍵字搜尋本身就有缺陷。
9. 13:58hybrid search關鍵字等於 sparse vector，Pinecone 讓人給 sparse、dense 或兩者。Edo 認為把關鍵字塞進去的做法會消失，之後主要拿來做加權調整。
10. 16:47為何不開源Pinecone 是 closed source。Edo 說開源的三個理由是信任、社群貢獻與管道，而 Pinecone 是全託管的多租戶服務，丟出原始碼也難以運行。
11. 20:28長 context 會不會取代Edo 說各家按 token 收費、塞滿 context 不見得改善結果，而且資料量到 terabytes 就不可行，附加所有 context 很快會走到極限。
12. 22:41隱私與資料外洩外洩有兩條路：服務商拿資料重新訓練，或自己 fine-tune 後資料跑出來。向量資料庫的做法是模型不接觸專有資料，只在查詢時取回，也能照 GDPR 刪資料。
13. 25:36prompt、fine-tuning、RAG三種做法不互斥。Edo 說 prompt engineering 必要但有上限，fine-tuning 對企業很難做好，RAG 最強但也不簡單。
14. 27:29Pinecone 接下來基礎設施公司，持續改善易用、安全、穩定、成本、規模與效能，並開始碰到資訊檢索領域處理了大約 40、50 年的更深層問題。
15. 28:52最期待的 AI 發展Edo 想看到推理與知識分離，現在把半個網際網路塞進 GPU 記憶體不可能是對的做法；Edo 也預期今年會看到很多實驗走向上線。

值得記的話5 句

• in 2019 the earthquake had already happened到 2019 年，地震其實已經發生了；指深度學習，對照現在這波還沒打到的 AI 海嘯02:14

• you can reduce hallucinations significantly up to 50%幻覺可以顯著降低，最多到 50%05:13

• increasing the context size doesn't actually improve results加大 context 其實不會讓結果變好21:01

• that information will never be available to your foundational model again從向量資料庫刪掉文件之後，基礎模型就再也拿不到那份資訊25:03

• you might actually make things significantly worse沒有懂 fine-tune 的研究團隊，你可能反而把結果弄得更糟26:24

名詞與人物11 個

Edo Liberty

Pinecone 創辦人兼 CEO，本集來賓。

Pinecone

向量資料庫公司，主打替 AI 應用提供長期記憶。

embedding

模型把文件、段落或圖片轉成的數字表示，也叫 vector。

RAG

在回答當下先檢索相關資料放進 context，再讓模型回答。

Common Crawl

定期爬取的熱門網頁資料集，Pinecone 拿來測 RAG 對各模型的影響。

Pinecone serverless

去掉規模限制的 Pinecone，Edo 說是整個資料庫第四次幾乎完全重寫。

canopy

Pinecone 開源的端到端範例，讓人學著建 RAG 產品。

hybrid search

把關鍵字與 embedding 的分數合在一起，底層關鍵字視為 sparse vector。

context stuffing

把大量資料一股腦塞進 context，Edo 說只是多付錢、不見得更準。

Notion Q&A

Notion 以 AI 做問答的功能，Edo 說跑在 Pinecone 上。

Gong

用 Pinecone 處理銷售通話紀錄的公司。

提到但沒有展開

• 主持人轉述 Databricks 的 Ali 的說法：讓開源專案成功像一桿進洞，之後還得再打出一支大滿貫，把它做成一家公司。Edo 表示同意，並說後來想搶市場的向量資料庫新玩家都走開源路線，已經在掙扎。
• Edo 描述「知識與推理分離」的想法：各子系統各司其職，同樣的事可以更便宜、更快、更好，或同樣的資源做更多。

在 YouTube 看原片 ↗