Kelvin Guu 談檢索增強與 agent 的缺口

015 · Kelvin Guu 談檢索增強與 agent 的缺口

37:18YouTube 上架 2023-05-04Kelvin Guu（Google Brain）

No Priors Ep. 15 | With Kelvin Guu, Staff Research Scientist, Google Brain

Kelvin Guu 從 REALM 講到 instruction following、改模型權重與訓練資料歸因，再談自主 agent 還缺什麼：記憶、直覺、從回饋學習。最後給想當研究者的人一些建議。

015 講了什麼

檢索增強的賣點在變Kelvin 說一般常識靠擴大模型就能記住，現在檢索增強更有價值的是模組化、不想放進主模型的個人資料，以及要適應有特殊資料的企業客戶。
檢索與專家模型各管一種粒度Kelvin 比較 mixture of experts 與檢索增強，前者把語料切成幾塊各訓練一個模型，後者直接去找單一文件。問 Wi-Fi 密碼這類精確事實適合檢索；企業內部專用的程式語言則更適合訓練過的專家。
instruction following 打開了使用門檻Kelvin 說 Flan 用約 100 個任務訓練，模型就能處理沒看過的第 101 個任務，當時很多人以為需要上千個任務。但幻覺這類問題，光靠下指令還是壓不住。
想知道模型是從哪學到的Kelvin 的 influence 論文屬於 training data attribution，用一個輕量模型模擬訓練過程，估計每筆訓練資料的影響。Kelvin 說這還很早期，也提到模擬必然有近似誤差。
自主 agent 把任務拆成小提示，缺口很多Kelvin 認為現在的做法靠記憶機制接起長任務，但子目標一旦寫錯就很難回頭，也缺少像人那樣把明確推理沉澱成直覺的機制。
技能的重心在移動Kelvin 認為技術門檻有大型語言模型幫忙之後，更有分辨力的會是問題的定義與創意；但仍需要有人驗證模型的產出，技術能力還需不需要那麼普遍，沒人知道。

從哪一段開始看16 段

00:00背景與 BERTKelvin 從數學轉到統計、再到史丹佛的 NLP 組，2018 年進 Google。早期玩 BERT 時發現模型有大量世界知識，進而想到檢索增強。
01:48REALM 的動機與做法三個動機：增加記憶容量、資料來源可抽換、處理每天更新的資訊。做法是把輸入與文件都轉成向量，找最近鄰，再用 cross-attention 讀取，並從遮字填空的任務裡學哪些文件有用。
05:43什麼時候該檢索常識性的知識隨模型變大就會記住；檢索的好處逐漸轉向模組化、個人資訊與企業客戶。Kelvin 提到記憶程度與內容在語料中出現的次數有關。
07:01專家模型與檢索的差別Kelvin 回應 Elad 前面問的 mixture of experts，以 Branch Train and Merge 為例：專家模型是把語料分塊各訓練一個，檢索則是直接去找單一文件。精確事實用檢索，企業專用語言用專家。
08:53模組化與 Flan不是每個組織都能從頭訓練大模型，所以要能在既有模型上低成本調整。適應方式從 2017 年的專用模型，演進到共用預訓練模型，再到 instruction following，Kelvin 介紹了 Flan。
11:46持續學習與 prompt tuning即時更新權重有維護成本，Kelvin 驚訝週更或月更通常就夠。另一條路是 prompt tuning：大模型凍結，只對向量化的提示做梯度下降，可隨時抽換。
13:36訓練資料歸因influence 論文要回答「這個行為是哪些訓練資料教出來的」。完整做法是刪掉那筆資料重訓，太貴，所以改用輕量模型模擬。若能知道，就能補更有價值的資料，也能判斷模型是真的泛化還是拼湊。
16:27改模型權重（ROME）MIT 實驗室的 ROME 能把模型對艾菲爾鐵塔位置的認知從巴黎改成羅馬，相關的事實也跟著更新。背後的想法是權重矩陣有點像查找表；Kelvin 覺得這提供了另一種模組化，而且能泛化。
18:01自主 agent 與記憶Kelvin 先說明以下都是個人看法。現在的 agent 把長任務拆成小提示、用記憶接起來，但子目標寫錯後很難糾正；人會把明確推理沉澱成直覺（chunking），agent 目前都靠明確推理。
22:26從回饋學習與人腦類比好的旅遊規劃師會從回饋慢慢學到偏好，現有方法還沒有這個迴圈；操作複雜工具也要有學習曲線。主持人把這些類比到人腦的模組化；Kelvin 則談到像恐懼那樣避開不可逆狀態的機制，以及記憶整併。
25:33一致性偏誤與內省主持人舉例：問 26 與 21 哪個大可能答錯，要它從 21 數到 26 又會一直數下去。Kelvin 說缺的是類似「我數了 10 小時了」的內省，Chain of Thought 只是補丁。
26:19讓模型隨處可用現在得先把脈絡濃縮成好提示，這道門檻讓很多人想不到去用模型。理想是在瀏覽器卡關時直接問，模型看過你做的事就能推測意圖。
27:21知識表示Kelvin 早期做知識庫，後來發現很難做到每筆資訊只存在一處；文字覆蓋廣，但改一個事實要改很多處。這是集中與覆蓋之間的取捨。
29:09訓練的可及性與家庭價值Kelvin 關心讓人容易調整模型的做法，資料品質是關鍵，約 10 到 30 筆範例還算容易。家庭價值要寫進提示，還是靠反覆回饋，Kelvin 說還不清楚；主持人提到 constitutional AI，Kelvin 預期業者會盡量把能做的都推進提示裡。
31:58給研究者的建議把目標拉得更遠：讓 agent 更自主與安全、理解哪些訓練資料造成什麼行為。要做技術挑戰的話，這些模型怎麼運作仍有很多未解問題。
34:06孩子該學什麼Elad 說原本希望孩子念電腦科學，但 15、20 年後機器可能寫出更好的程式。Kelvin 認為重點移向問題定義與創意，但仍需要人驗證，技術能力是否還要那麼普遍沒人知道。

值得記的話5 句

more and more the benefits of a retrieve augmented model are for modularity for personal information that you might not want in the main model越來越多時候，檢索增強模型的好處在於模組化，以及不想放進主模型的個人資訊05:58
remove it from the training set and retrain your entire model and see if the behavior changed把那筆資料從訓練集拿掉，整個模型重訓，看行為有沒有改變14:39
initially we do something through explicit reasoning but eventually we distill that down into instincts一開始我們靠明確的推理去做，最後再把它提煉成直覺20:22
the differentiating factor now shifts more to problem formulation or creativity in identifying problems現在的分辨力更多轉向問題的定義，以及找出問題的創意34:53
then who's validating the validator那誰來驗證這個驗證者？35:25

名詞與人物12 個

Kelvin Guu: Google Brain 的 Staff Research Scientist，本集來賓。
REALM: 檢索增強語言模型的論文，從遮字填空的訓練中學哪些文件有用。
retrieval augmented model: 先用向量找最近的文件，再讓模型讀取並做預測的模型。
mixture of experts: 把語料分塊、各訓練一個模型，推論時用路由或加權投票選用。
Branch Train and Merge: Kelvin 用來說明專家模型做法的一篇論文。
Flan: 早期證明大型語言模型能學會遵循指令的論文，用約 100 個任務訓練。
instruction following: 用附上指令的多個任務訓練，讓模型能處理沒看過的任務。
prompt tuning: 凍結大模型，只對向量化的提示做梯度下降。
training data attribution: 找出模型某個行為是由哪些訓練資料教出來的研究方向。
influence: Kelvin 剛發表的論文（字幕作 influence），用輕量模型模擬訓練過程來估計每筆資料的影響。
ROME: Kelvin 記得出自 MIT 的實驗室，編輯模型權重來改變特定事實，改完後相關事實也會一併更新。
chunking: 心理學概念：把幾個項目併成有意義的組塊，就能記住更長的序列。

提到但沒有展開

Kelvin 提到大型語言模型模擬 Linux 終端機、用 LaTeX 畫獨角獸、用 SVG 畫圖，要弄清楚這些是真的泛化，還是訓練資料裡本來就有類似的東西，得靠資料歸因。
Elad 回顧 AI 從西洋棋、圍棋、撲克到 Diplomacy，每一步都被說做不到、後來又做到（提到 Noam Brown 的 Diplomacy 研究），所以好奇創意與問題定義會不會也走同一條曲線。Sarah 接著說，兩人剛聊到機器人還遠遠落後，所以 Elad 的孩子會去當木工。

在 YouTube 看原片 ↗

Google Brain