Gemini 長上下文與推理的下一步

074 · Gemini 長上下文與推理的下一步

46:09YouTube 上架 2024-08-01Oriol Vinyals（Google DeepMind）

No Priors Ep. 74 | With Google DeepMind VP of Research Oriol Vinyals

Oriol Vinyals 談 Google DeepMind 合併後的 Gemini 團隊怎麼運作、長上下文的實際用途、推理為什麼還不夠精確，以及對 AGI 這個目標的看法。

074 講了什麼

Gemini 來自兩個團隊合併Oriol 說去年有兩件大事：一是 Google Brain 與 Legacy DeepMind 各自的 LLM 工作合在一起，做出第一個 Gemini 模型；二是做 AI 研究的組織併成現在的 Google DeepMind。Gemini 的目標是做出一個很強的核心模型，撐起各種產品。
長上下文最讓 Oriol 意外把一小時的影片整支丟進去就能問任何問題，開發者也做出許多想不到的展示。Oriol 認為它還沒完全進入主流，預期一兩年內一般可用的 context 會再大一個數量級。
搜尋與聊天暫時並存Oriol 說很難想像其中一邊取代另一邊，兩者現在各有用處，搜尋產品正在想辦法把 LLM 的能力接進來。
推理的問題是不夠精確模型會替不正確的內容保留非零的機率，難題就算有 95% 的準確率，部署到全世界之後錯誤還是看得到。Oriol 提到的方向包括讓推理更有邏輯，以及在推論時投入更多算力。
獎勵函數是卡關處圍棋有明確的輸贏，語言沒有。Oriol 看好讓模型評判自己的輸出，前提是檢查比生成容易。
AGI 不是一個時間點Oriol 認為模型能做與不能做的事會是一個分布，不會有哪一天突然達標；但模型明顯的低級錯誤還是要修。

從哪一段開始看17 段

00:05開場與 Gemini 的由來Sarah 介紹 Oriol 的背景。Oriol 說明 Gemini 專案與 Google DeepMind 這個組織去年是怎麼成形的。
01:55團隊與產品面加州與倫敦兩個據點，專案 24 小時不停；Gemini 先對準雲端與企業、開發者、Gemini app 與搜尋。
04:33聊天與搜尋怎麼分主持人拿過去搜尋的查詢分類來問。Oriol 說還在實驗：搜尋可以替聊天補上引用，搜尋本身也在接 LLM，現在看不出誰會取代誰。
08:28最意外的使用方式上下文能拉到這麼長讓 Oriol 驚訝；一小時的影片可以直接發問，鏡頭對著螢幕上的程式碼也能除錯，但還沒成為主流用法。
11:06長上下文何時普及主持人問企業與消費者何時會大量用到。Oriol 預期一兩年內，一般可用的 context 會大約提高 10 倍，最前沿與一般水準都會再上一個數量級。
13:11檢索與階層記憶Oriol 認為效率與品質都會讓階層記憶繼續有意義；檢索會把整本書簡化成一個向量，整本放進 Gemini 則能逐字推理，未來可能是混合模式。
14:42領域變大Oriol 說最大的變化是進來的人更多、背景更多元；進展要歸功於資料與算力的規模、演算法的進步，以及軟體與開源帶來的可得性。
16:03從通用演算法到通用模型深度學習那十年是同一套演算法套到各個領域；GPT-2 論文之後，模型本身也變通用，再加上多模態，AGI 的條件一項項補齊。
19:29推理要精確模型替每個序列都分配機率，錯誤就算很少，部署到全世界還是會被看到；除了把模型做大，Oriol 也想讓推理更有邏輯、更有冗餘，並在推論時多花算力。
22:02訓練與推論的算力比例AlphaGo 的算力大多花在自我對弈的強化學習，現在則大多花在預訓練。Oriol 認為預訓練最多到 50% 比較合理（不像現在超過 90%），其餘多半給強化學習；推論花幾秒算力就夠。
26:30獎勵函數怎麼放大人工標註仍是一條路，但 Oriol 更相信模型評判自己輸出的自舉效果，前提是檢查比生成容易。
28:35Nyquist 類比與自我修正主持人轉述朋友拿取樣定理比喻智慧的外推極限。Oriol 說生成式超解析度看似違反這個定理，其實是學到世界的結構；自我修正的能力一旦出現，自舉就變容易。
31:55通用模型與專門領域Oriol 形容通用模型是什麼都有 20% 的水準；問題夠重要就該專門化，專門模型的成果也會回頭幫主模型。
35:07數學與遊戲是死胡同嗎Oriol 承認這類領域的獎勵比較人為，可能推廣不到真實問題；但連證明對不對都要處理形式化與語言解釋，研究方法對的話就不是死胡同。
38:01對 AGI 的看法Oriol 提到 DeepMind 共同創辦人 Shane Legg 在 2009 年就預測 2028；Oriol 覺得有沒有達到 AGI 沒那麼重要，要看的是模型能做什麼、不能做什麼。
40:56生活與工作怎麼調整主持人問相信 2028 會不會改變生活方式。Oriol 談孩子與智慧型手機，也說自己人在倫敦，早上醒來就用長上下文消化加州那邊留下的大量聊天室訊息。
43:03給下一代的建議先找到自己的熱情，再善用現有的工具；做技術的人可以去找 AI 還沒進去的角落，例如氣候建模。

值得記的話5 句

modeling language turns out to be such a powerful abstraction for generality結果發現，語言建模是通往通用性非常強大的抽象17:21
if checking that something is correct is easier than creating the solution then we're in business如果檢查一件事對不對，比做出解答容易，那就成了27:34
the level of performance is irrelevant but they're like 20% good at everything水準高低先不管，它們就是什麼都有 20% 好32:57
I'm not sure it matters that that we achieved AGI我不確定達到 AGI 這件事重不重要39:05
it's going to be a distribution of things that these models can do or can't do會是一個分布：有些事這些模型做得到，有些做不到39:22

名詞與人物10 個

Oriol Vinyals: Google DeepMind 研究副總、Gemini 的技術共同負責人，本集來賓。
Gemini: Google 的核心模型專案，由 Google Brain 與 Legacy DeepMind 合併的團隊做出第一版。
Legacy DeepMind: Oriol 用來指合併前的 DeepMind 團隊。
AlphaStar: Oriol 帶領的團隊做出的星海爭霸 agent。
AlphaGo: Oriol 用來對照算力分配的例子：預訓練、強化學習、推論時搜尋。
long context: 這集的主軸之一，Oriol 說模型已能處理數百萬個 token。
bitter lesson: 擴大學習、擴大搜尋就夠了的說法；Oriol 自稱骨子裡是 deep learner，並不反對。
reward model: 替模型輸出打分的模型，Oriol 認為讓模型自己當評審是值得期待的方向。
System 2: 推論時多花一點時間思考的做法，Oriol 說它慢，但沒有慢到不能用。
Nyquist 取樣定理: 主持人用來比喻「要多聰明才能判斷更聰明的東西」，Oriol 以超解析度模型回應。

提到但沒有展開

Oriol 提到團隊最近在數學上做出專門化的成果，並說這類成果會回頭變成資料或獎勵模型，幫主模型變強。
強化學習常要提早停，否則模型會鑽不完美的獎勵函數的漏洞；Oriol 舉例，模型可能發現多放表情符號，人類偏好資料訓練出的獎勵函數就會給高分。
談到下一代的方向時，Oriol 說天氣建模已經被深度學習解得差不多，氣候則只有一顆地球這一個樣本，仍然困難。

在 YouTube 看原片 ↗

Google DeepMind