用 LLM 重做搜尋：Neeva 的答案

008 · 用 LLM 重做搜尋：Neeva 的答案

35:36YouTube 上架 2023-04-25Sridhar Ramaswamy（Neeva）

前 13 集的上架日是頻道補檔的日子（2023 年 4 月底一次補上），不是當初播出的日期，所以跟集號的先後對不起來。

No Priors Ep. 8 | With Neeva’s Sridhar Ramaswamy

Sridhar Ramaswamy 從離開 Google 創辦 Neeva 談起，講無廣告搜尋碰到的消費者現實、LLM 讓摘要真正做得出來，以及答案型搜尋對廣告、通路與內容生態的衝擊。

008 講了什麼

無廣告、重隱私的路不好走Sridhar 說 Neeva 前三年在做更好的私密搜尋，也學到很苦的消費者心理課。最大的難題是讓人願意踏出第一步去換搜尋引擎，一旦換了，後面就容易得多。
LLM 讓摘要第一次做得起來以前 Google 的 featured snippets 覆蓋率從來沒超過 5、6、7% 上下，Sridhar 說那是技術還沒到。有了 LLM，才能針對查詢把頁面裡對的那一段濃縮成一份帶出處的答案。Neeva 的 index 有 4 billion 頁，他們選擇自己做技術，不依賴 OpenAI 的 API。
成本靠小模型壓Sridhar 說一次大型模型呼叫大約 5 美分，換算成每千次查詢很驚人。Neeva 用 5 到 10 billion 參數的模型做摘要，認為多數已知問題用不著最大的模型，同時跑六種模型也無妨。
做搜尋要先有規模Sridhar 說 crawl 與 index 都是硬仗，但團隊做出全跑在 flash 上的系統，兩天內就能換掉整份 index。對團隊士氣幫助最大的，是推出 answers。
通路與商業模式都懸而未決Sridhar 說通路是自己最擔心的事，推出 Gist 這個像 Instagram stories 的實驗，也打算替出版商做站內的對話式搜尋。廣告方面，Sridhar 認為先無廣告、之後再加廣告的混合做法可能更可持續，但答案型產品做廣告更難。
內容生態可能更集中Sridhar 預期 Reddit、Quora 這類大站會要求參與搜尋、但不要被拿去餵 LLM，小型部落格則很難在答案世界裡自己養活自己。Sridhar 自己特別看好的，是把 LLM 接上各種工具的 action transformers。

從哪一段開始看13 段

00:00為什麼創辦 NeevaSridhar 說自己離開 Google 後與 Vivek 討論，覺得搜尋還有重做的空間：不用顧廣告與變現，就能從基本盤重新想起。前三年做的是私密搜尋，後來 LLM 讓團隊看到更好的體驗。
02:08無廣告與隱私的現實Sridhar 說他們看錯了美國人對這兩點的在意程度，歐洲的反應好得多。最大的難關是讓人願意換搜尋引擎。
03:58答案為什麼贏過連結Sridhar 以 featured snippets、圖片搜尋、Yelp 與匯率小工具為例，說把答案直接放進搜尋結果就會贏；連結本來就不透明，使用者要的是最快拿到答案。
07:07LLM 讓摘要做得出來LLM 能針對查詢摘要任何內容。Neeva 自己做技術處理 4 billion 頁的 index，產品是帶出處的摘要。
09:29其餘查詢怎麼辦Elad 提起當年在 Google 做 one box 的經驗，問另外三四成的查詢怎麼辦。Sridhar 說自己講的覆蓋率不含已在跑的 one box，LLM 也讓抽取結構化資訊變容易。
12:05tail queries 與 RAG搜尋引擎對 tail queries 一直處理得很差。Neeva 採 retrieval augmented generation，把搜尋當成 LLM 的工具，將來也可能接上算式或 Python 直譯器。
14:10成本與 Bing 的打法Elad 問 LLM 查詢的成本，以及 Microsoft 願意貼錢的打法。Sridhar 談每次呼叫的價格、RPM，並說對 Bing 而言先建立灘頭堡是合理的。
18:43做搜尋引擎有多難搜尋需要先有規模，crawl 與 index 都很辛苦。團隊靠全 flash 系統快速迭代，並用 LLM 做 query rewriting 與結構抽取，推出 answers 讓士氣大漲。
22:07通路與出版商合作習慣很難改，Sridhar 說通路是自己最擔心的事。推出 Gist，也想替 Reddit、boston.com 這類出版商做站內的對話式搜尋。
24:12訂閱還是廣告訂閱對 Neeva 是差異化，也給了一段跑道。Sridhar 說混合模式可能更可持續，但答案型產品做廣告更難。
28:27內容創作者怎麼辦摘要若搶走流量，創作誘因何在？Sridhar 預期大站會設限，小站更難生存，內容生產可能走向集中。
30:48下一個被顛覆的領域Sridhar 認為廣告是明顯的內容生成場景，現有大公司反應會很快。Sridhar 特別看好 action transformers，但技術還很早。
34:12技術民主化以 WhatsApp 為例，Sridhar 說兩年後可能是幾個二十歲的大學生，用 LLM 做出全新的應用。

值得記的話5 句

people don't like clicking on links人不喜歡點連結09:13
search engines are actually pretty terrible at a lot of tail queries搜尋引擎其實處理不好很多 tail queries12:05
you don't need like the full power of the largest biggest model to get most things done多數事情不需要用到最大模型的全部能力16:17
best religion to have are the ones that are aligned with your business interests最好的信仰，就是跟自己生意利益一致的那種；這句是在說廣告團隊27:38
a team of 30 people could create a product for the whole world30 個人的團隊就能做出給全世界用的產品；Sridhar 講的是 WhatsApp34:29

名詞與人物8 個

Neeva: Sridhar 創辦的搜尋公司，主打無廣告與隱私，後來轉向 LLM 的帶出處答案。
cited summaries: Neeva 把多個來源濃縮成一份帶出處的單一答案。
featured snippets: Google 把網站中兩三行直接答案放進搜尋結果，Sridhar 說覆蓋率始終有限。
one box: 搜尋裡直接顯示答案的卡片，例如股票與天氣；觸發規則以前寫得很累。
tail queries: 少見的長尾查詢，Sridhar 說傳統搜尋一直處理得不好。
retrieval augmented generation: 把搜尋引擎當成 LLM 可用的工具，Neeva 採用的做法。
Gist: Neeva 的實驗 app，用 Instagram stories 的概念重新想搜尋，介面是摘要加一串卡片。
action transformers: Sridhar 最期待的方向：讓 LLM 結合搜尋、計算機、API 等各種工具做事。

提到但沒有展開

Sridhar 說 Neeva 已與 Dashlane 等隱私產品合作，也在和 ProtonMail 洽談如何合作。
Sridhar 提到 action transformers 可用於 RPA，也可能做出 AI SRE、AI code reviewer，但這類技術還很早，不像 OpenAI 已經能一代接一代推出新的 LLM。

在 YouTube 看原片 ↗

Neeva