把好奇心做成一台答案引擎

用搜尋找資料、再用 LLM 寫成一句一句都附出處的答案，這個做法來自學術論文「每句都要有引用」的訓練。

現場問 Perplexity 自己是搜尋引擎還是答案引擎，順勢展示「相關問題」怎麼帶著使用者一路挖下去。

認為做另一個十條藍色連結的搜尋引擎沒意義，選擇把連結挪到次要位置，直接給答案。

拆解 Google 的競標廣告怎麼運作，稱讚 AdWords 是近五十年最厲害的商業模式之一。

靠訂閱撐住營收、不急著做廣告；也聊到有人在網頁裡塞隱藏文字，想騙 AI 說好話。

PageRank 的關鍵是放棄純文字比對、改看連結結構；兩人深厚的學術背景也影響了 Perplexity 用引用次數排序的邏輯。

就算輸入的問題很爛，產品也該給出好答案；連 Google 賣給 Excite 前的示範都印證了這件事。

「你的利潤就是我的機會」、把決策簡化成雙向門或單向門、還有不靠別人鋪路也要硬幹到底的意志力。

肯定 Meta 開源 Llama 稀釋大模型集中在少數公司手上；也回顧 Yann LeCun 早年說強化學習只是蛋糕上的櫻桃，以及兩人對開源與 AI 安全的辯論。

從 Bengio 實驗室的 soft attention、WaveNet 的平行卷積，一路講到 Transformer 論文，再到 GPT 系列靠擴大資料與參數不斷進步的過程。

前訓練負責塞進常識，後訓練（含 RLHF）才是決定產品好不好用的地方；也順勢聊到能不能把推理能力跟死記的知識拆開，用小模型做「開卷考」。

介紹自己掛名的論文，讓模型針對答錯的題目反推解釋、拿正確答案的推理過程訓練自己，逐步墊高推理能力。

猜測如果模型能不斷用自己的推理訓練自己，會不會出現智慧爆炸；也談到新訊號終究還是要來自人類回饋。

就算 AI 能把一件事徹底研究透徹，也不代表它會自己冒出好奇心去問問題；也談到這種等級的 AI 一旦出現，真正的風險是誰能負擔得起那麼多算力。

不認為會有單一個突破時刻，而是等 AI 能像 PageRank、快速傅立葉轉換那樣提出讓人重新思考的新觀點，才算真正達到高階推理。

受 GitHub Copilot 啟發，套用 Larry Page「AI-complete」的概念找題目；一開始想做能對著眼鏡問問題的產品被投資人潑冷水，才收斂成先用 SQL 查資料庫。

2022 年 12 月上線後意外在耶誕假期還有人用，這個訊號讓他們認真做下去；「世界上最重視知識的公司」這句使命，是照著 Amazon「最重視顧客的公司」的說法想出來的。

解釋 RAG 就是先抓資料再讓模型寫答案，並列出模型能力不足、索引資料太舊或太雜這幾種幻覺成因。

排程要爬哪些網域、多久爬一次，也得遵守 robots.txt 與禮貌延遲；他也解釋純向量搜尋不夠用，BM25 這種老派的關鍵字比對到現在還是贏過不少 embedding 模型。

Perplexity 的 LLM 可以換成 GPT-4o、Claude 或自家用 Llama 3 練出來的 Sonar，重點是使用者不用管底層是哪個模型。

追蹤 P90、P99 這類長尾延遲，再決定要多買 GPU 還是跟其他模型供應商買更多算力；也聊到為什麼多數新創（包括 Perplexity 自己）選擇把運算放在 AWS 這類雲端上。

建議先想清楚自己真正在乎什麼、多巴胺從哪裡來，而不是先猜市場要什麼；也談到家人的支持有多重要，以及年輕時該把時間押在一件事情上。

終極目標不是取代搜尋，而是加速知識散布的速度；也介紹 Perplexity Pages 把問答整理成文章、Discover 分頁想做「沒有八卦的 AI 版 Twitter」。

認為更長的 context window 對內部文件搜尋幫助最大，但塞更多資料進去不等於模型更聰明，反而可能讓它更容易分心。

承認 AI 情感陪伴這條路更好賺，投資人也建議過他做這塊，但他拒絕；他想做的是像人生教練一樣、能陪人一起變好的 AI。

認為多數混亂來自不理解，AI 如果能幫人少一點偏見、多一點理解，就是他覺得最值得期待的地方。