Voyage AI

067 · RAG 之爭與嵌入模型的取捨

36:20YouTube 上架 2024-06-06Tengyu Ma（Voyage AI CEO）

No Priors Ep. 67 | With Voyage AI Co-Founder and CEO

Tengyu Ma 從 Stanford 的優化器研究談到創辦 Voyage AI，並正面回應 RAG 對上長上下文與 agent chaining 的爭論，也聊領域微調、延遲與學界該做什麼。

067 講了什麼

• 瓶頸在檢索品質Tengyu 說接起 RAG 各元件很快，但回答好不好，很大程度被檢索那一段卡住。Voyage 因此專注做 embeddings 與 reranker。
• 長上下文比 RAG 貴Tengyu 認為把整個知識庫塞進上下文，成本會遠高於 RAG，預測 RAG 日後也會更便宜。Tengyu 把上下文比作短期記憶、RAG 比作長期記憶，一次只取相關的子集。
• agent chaining 與 RAG 不衝突Tengyu 把它看成迭代式的多步檢索，鏈子裡仍然用得到 embedding 模型。embedding 模型越聰明，需要迭代的次數就越少。
• 領域微調受限於延遲預算embedding 模型有延遲上限，參數不能太多，所以要把有限的參數用在特定領域。Tengyu 給的提升是領域微調 5 到 20%，針對單一公司資料再加 10 到 20%。
• 軟體層會越來越薄Tengyu 預期 chunking 這類工程補丁會因為模型更強、上下文更長而減少，整個系統簡化成大模型、向量資料庫、embedding 模型，再加 reranker。
• 學界做三到五年後的題目Tengyu 認為學界資本不夠，不該拚規模；實驗室做優化器與推理，目標是長線突破。

從哪一段開始看15 段

1. 00:00研究路線主持人介紹 Tengyu 與 Voyage。Tengyu 說自己的論文多少帶點理論，近來集中在訓練效率與推理：資料和算力都快用完，所以效率很重要；推理則是重要但有風險的方向。
2. 01:51代表作與 Sophia從矩陣補全、句子 embedding、contrastive learning 談到優化器 Sophia，預訓練效率提升 2x；一位 Facebook 的朋友在大規模多模態訓練上回報 1.6x。
3. 04:35為什麼出來創業Tengyu 說創業本來就在職涯規劃裡，而且時機到了：以前套用機器學習有七個步驟，現在有基礎模型，加上 prompt 與 RAG 就差不多了。
4. 06:42Voyage 做什麼做 reranker 與 embeddings。客戶普遍卡在回答品質，而回答品質被檢索品質限制。
5. 07:44RAG 與應用說明先檢索、再讓語言模型生成，可降低幻覺；做法是把文件、影片、程式碼都轉成向量放進向量資料庫。客戶涵蓋化學公司、金融、法律與程式碼檢索。
6. 10:38RAG 的爭論主持人整理兩種替代路線：agent chaining，以及把所有資料餵進無限或主動管理的上下文。Tengyu 說去年 RAG 對 fine-tuning 的爭論已接近共識：RAG 容易得多，fine-tuning 要大量資料，做完也還有幻覺。
7. 12:28長上下文太貴Tengyu 的論點：成本遠高於 RAG，且 RAG 也會變便宜；上下文像短期記憶，RAG 像長期記憶，類似電腦的多層快取。
8. 18:04agent chainingTengyu 認為與 embedding 模型正交，鏈子裡仍會用到。迭代檢索現在有用，模型更聰明後一兩輪就夠。
9. 20:24怎麼改進 RAG改 prompt 的空間變小；真正要改的是檢索，一種是改網路本身，一種是靠 chunking、迭代等軟體手段。Voyage 專注前者。
10. 23:14領域微調先從頭訓練通用模型，再用兩兆 token 的程式碼、一兆 token 的法律資料各自微調。程式碼提升 15 到 20%，法律 5 到 15%。
11. 25:49延遲與向量維度查詢也要先轉成向量再搜尋，所以有延遲預算；向量維度越小搜尋越快，Tengyu 說 Voyage 的維度比部分競爭對手小 3X、4X。
12. 27:42何時投入檢索元件有原型就可以開始：先量檢索與端到端品質，找出瓶頸，再換 embedding 或 reranker。
13. 29:02系統會更簡單預測 chunking、多模態轉文字等層會消失，剩大模型、向量資料庫、embedding 與 reranker。
14. 30:40創辦人心得Tengyu 說開公司跟在大公司做研究很不一樣，反而比較接近經營大學實驗室。學到最多的是聽一位天使投資人的建議去讀基本的創業書，再加上常跟 Sarah 等投資人討論，目標是少犯錯、犯了就快改。
15. 32:46學界的角色學界缺資本，不適合拚規模，應做三到五年後的突破，例如優化器效率與推理。

值得記的話5 句

• my prediction is that rag will be much cheaper than long context going forward我預測往後 RAG 會比長上下文便宜得多14:07

• if they improve the retrieval quality directly that affects the response quality多數用戶發現，直接改善檢索品質，回答品質就跟著改善21:12

• the system will be simpler and simpler系統會越來越簡單29:18

• it's really about how to reduce the number of Errors you make說到底就是怎麼少犯錯32:15

• Academia probably should work on some different questions from what industry is good at學界該做的題目，應該和業界擅長的不一樣33:18

名詞與人物10 個

Tengyu Ma

Stanford 電腦科學助理教授，Voyage AI 共同創辦人兼 CEO，本集來賓。

Voyage AI

訓練 embedding 模型與 reranker，用來改善檢索系統。

RAG

先檢索相關資料，再交給語言模型生成回答，用來降低幻覺。

embedding 模型

把文件、影片、程式碼等轉成向量，供向量資料庫檢索。

reranker

對檢索回來的結果再排序、精煉。

Sophia

Tengyu 實驗室去年提出的優化器，預訓練效率提升 2x。

Adam

已經有 10 年歷史的優化器，至今仍是訓練大型語言模型的預設選擇。

agent chaining

串接多個語言模型處理資料；Tengyu 視為迭代式、多步的檢索增強系統。

長上下文

把大量資料直接放進模型上下文；Tengyu 認為成本遠高於 RAG。

chunking

把文件切成小塊再轉向量；Tengyu 預期上下文變長後需求會降低。

提到但沒有展開

• 主持人指出，除了檢索，LLM 長期記憶長什麼樣仍沒有定論，RAG 可能只是答案的一部分。Tengyu 說 embedding 模型某種程度上就是在管理長期記憶，也可能出現以 embedding 模型延伸的新版本。
• 主持人拿 Gemini 1.5 Pro 的上下文視窗當例子：100 萬 token 約五本書，而 Tengyu 說許多公司有 100 million tokens，差了 100x。

在 YouTube 看原片 ↗