AI Engineer Europe 2026 · 演講 · 2026-04-18 · 21 分
DeepMind 的三個非語言模型研究
How Google DeepMind is researching the next Frontier of AI for Gemini · Raia Hadsell，Google DeepMind
Raia Hadsell 挑出三件不是語言模型的研究：全模態嵌入模型、從 GraphCast 一路演進的天氣預測，以及從 Genie 1 走到 Genie 3 的互動式世界模型，說明 DeepMind 怎麼找最根本的問題。
概要
- 找根節點，不花時間在葉子上Raia 說團隊的做法是先挑還沒解決的大問題，往下挖到最深的那一層，再把成果帶到下游，也強調要跟外界的夥伴合作，一起找根節點、再把解法帶到葉節點。
- 嵌入模型是生成式 AI 的搭檔Raia 用神經科學的 Jennifer Aniston cell 比喻，說明為什麼要讓不同模態對應到同一組表徵。這場介紹的嵌入模型源自 Gemini、全模態，能把文字、影片、音訊與 PDF 轉成單一向量。
- 天氣預測從 GraphCast 到 FGN起點是英國氣象局的科學家問「AI 能不能比物理模型更準地預測降雨」。團隊先做出 GraphCast，接著是機率式的 GenCast，以及把氣旋辨識直接放進網路的 FGN，其中 FGN 已被美國國家颶風中心使用。
- GenCast 比傳統做法快很多Raia 說它在 1300 個標準基準預報中有 97% 的時候更準，而且 15 天預報在單一晶片上八分鐘就能產出，不用大型超級電腦跑好幾個小時。
- 世界模型從 Genie 1 走到 Genie 3Genie 1 只能跑幾秒的 2D 平台遊戲，Genie 2 是 3D 但還不是即時，Genie 3 則能互動、有記憶，還能在人身處其中時用 prompt 改變世界。
- 新型態的遊戲與教育Raia 提出對抗式地用 prompt 改變別人體驗的遊戲想像，也認為進入一個世界去學習這件事很有力量。
原話
▶ 03:57“we look for root nodes you know we're not going to waste time on the leaves”
我們找的是根節點，不會把時間花在葉子上
▶ 05:59“those cells are actually very robust. They activate regardless of modality.”
那些細胞其實非常穩固，不管是哪一種模態都會被啟動
▶ 12:45“The weather is fundamentally chaotic, and we want to know what's happening on the tails,”
天氣本質上是混沌的，而我們想知道分布尾端會發生什麼
▶ 13:20“we could produce that 15-day forecast in eight minutes on a single chip instead of hours on a very large supercomputer.”
我們能在單一晶片上用八分鐘產出 15 天預報，而不是在大型超級電腦上花好幾個小時
▶ 19:57“The ability to be able to go into a world in order to learn about it, I think is incredibly powerful”
能夠走進一個世界去學習它，我認為非常強大
延伸
- Raia 說 FGN 希望在接下來幾年推到全球使用。
章節
點時碼直接跳到原片的那一段。
- Raia 的背景Raia 在 DeepMind 將近 13 年，也是英國 AI 大使；大學部讀哲學，後來轉到電腦科學，博士做卷積網路與機器人，加入 DeepMind 時團隊約 30、40 人。
- 團隊與做法Raia 帶約 1,200 位科學家與工程師、橫跨 10 個實驗室，研究方式是找最根本的「根節點」問題，並與外界夥伴合作。
- 這場的主題在前沿 AI 的幾個領域中只挑幾項來講，這場的共同主題是「不直接是語言模型的東西」，第一項是嵌入模型。
- Jennifer Aniston cell用神經科學概念說明為何要讓不同模態指向同一組表徵，以便快速檢索、辨識與比較；Raia 用對比損失訓練，也提到博士時做過 Siamese 網路。
- 全模態嵌入模型源自 Gemini 的全模態嵌入模型，一個向量可涵蓋最多 8k token 的文字、128 秒影片、80 秒音訊與一整份 PDF，也能先用 256 維做檢索、再擴充到更有表達力的維度。
- 天氣預測起點英國氣象局的科學家問 AI 能否比物理模型更準地預測降雨；團隊發現有 40 年全球資料的天氣預測對神經網路相當可行，於是做出 GraphCast。
- Hurricane Lee 範例GraphCast 對 Hurricane Lee 提前九天就準確預測了登陸地點；Raia 接著提到只能提前六天的情況，並說重大颶風登陸時多三天非常重要，團隊因此繼續推進。
- GenCast下一代模型同樣以網格為基礎，但改為機率式、更準也更有效率；在 1300 個基準預報中 97% 的時候更準，八分鐘就產出 15 天預報。
- FGN最新的 Functional Generative Network 把氣旋的辨識、路徑、風速與颱風眼形成直接放進網路訓練，已被美國國家颶風中心使用。
- 世界模型的由來世界模型來自 DeepMind 長年做的遊戲與模擬，目標從只訓練 agent，轉向建立無限的環境。
- Genie 1 與 Genie 2Genie 1 只能跑幾秒的 2D 平台遊戲世界；放大資料與方法後的 Genie 2 能做 3D 環境、可互動但還不是即時。
- Genie 3 示範示範請 Genie 生成走在肯特郡泥濘小路的世界，Raia 說模型理解的不只是外觀，還有水怎麼動、人怎麼往前走。
- 藝術家的世界一位藝術家做了開頭幾秒的畫面，團隊用它當提示讓世界活起來，可以在裡面飛行、彈跳。
- 記憶測試用摺紙蜥蜴世界測試：朝一個方向跑一分鐘再跑回起點，一切都和最初完全一樣，顯示環境有一致性與記憶。
- 身處其中時下 prompt在倫敦 Camden Canal 的世界裡即時用 prompt 改變環境，Raia 設想新的遊戲型態，也認為對教育很有價值。
名詞
- Jennifer Aniston cell
- 神經科學概念，指一小群神經元專門編碼某個特定的人或物，不論看到圖片、影片或聽到聲音都會啟動
- contrastive loss
- Raia 說嵌入模型用的損失函數，並提到自己博士時研究的 Siamese 網路是理解它的早期方式
- omnimodal embedding model
- 源自 Gemini 的嵌入模型，可把文字、影片、音訊與 PDF 轉成單一向量（稿子沒念出正式名稱）
- GraphCast
- 用球面圖神經網路預測最多 15 天內全球大氣狀態的模型
- GenCast
- GraphCast 之後的機率式天氣模型，更準也更有效率
- FGN
- Functional Generative Network，把氣旋辨識等直接放進網路的最新天氣模型
- Met Office
- 英國氣象局，最早問團隊 AI 能否更準預測降雨
- Genie
- DeepMind 的世界模型系列，從 Genie 1 到 Genie 3
