Vinyals 談 Gato 與機器意識

對談開場先問一個哲學問題：AI 能不能頂替訪問者或受訪者？兩人認為關鍵不在準確度，而在有沒有身分、立場與「說錯話會被取消」的風險，這些才是讓對話吸引人的關鍵。

Vinyals 解釋現在的語言模型部署後權重就不再更新，能用的只有對話當下幾千字的「工作記憶」，超過就開始遺忘，這是他認為深度學習目前最大的限制之一。

他覺得每解一個新任務就整套權重打掉重練很浪費，人類與宇宙演化都是站在既有基礎上繼續長，深度學習卻還沒找到「把模型養大」而不是「重新生一個」的辦法。

Lex 追問他那句「Gato 不是終點，是起點，喵」的推文，Vinyals 解釋 Gato 這個名字來自西班牙語的「貓」，也順勢帶出 DeepMind 用動物幫模型命名的傳統。

文字靠常見子字串切成 token，影像先壓成 16×16 的小圖塊再量化，動作也一樣離散化；三種模態各自占用不同的整數區間，彼此獨立，只靠訓練資料把它們連起來。

面對「這個模型是不是同時裝著好幾種互不相干的任務」的提問，他說其實是同一顆大腦、同一組梯度下降，各模態的向量表示會在訓練過程中自然對齊，例如「貓」這個字跟貓的圖片最後會長得很像。

Flamingo 把 700 億參數的語言模型 Chinchilla 整個凍結、外掛一小塊會看圖的子網路，只加了約 100 億參數就學會看圖對話；他認為重用權重的模組化路線會留下來。

他回顧 meta-learning 這個詞怎麼從早年局限在「認物體類別」的影像基準，被 GPT-3「語言模型是少樣本學習者」這篇論文整個打開，變成用自然語言就能現場教模型新任務。

他期待五到十年內能直接用對話教模型玩一款新遊戲，像教人一樣讓它邊玩邊問「我剛剛這樣做對不對」，而不是像 AlphaStar 那樣為單一遊戲整套訓練專屬權重。

他說這些突破最讓他意外的不是某個巧妙演算法，而是資料工程跟基準設定有多重要；AlphaFold 能解開蛋白質摺疊，靠的正是先有社群公認的評分標準，才敢瞄準做好幾年都沒把握的目標。

他形容 transformer 靠的是「按內容而非位置去查找上下文」這個歸納偏見，幾年來架構幾乎沒怎麼變過；但固定長度的提示視窗仍是硬傷，教模型玩星海爭霸這種任務需要的上下文遠超現在能塞進去的量。

他認為研究者個人的堅持會決定「哪個突破先發生、哪個後發生」，也舉例 attention 機制最早是蒙特婁團隊在算力較少的情況下被逼出來的；工程細節裡的小決定，往往會隨規模被放大成關鍵差異。

他解釋某些任務在規模跨過某個門檻前表現幾乎是隨機的，跨過門檻才忽然變好，這種「湧現」現象沒有理論能預測，只能靠像 Chinchilla 那篇重新校準規模定律的論文，從小規模實驗外推。

面對有 Google 工程師公開主張聊天模型已經產生知覺，他說自己從來沒有一刻真心覺得任何系統有知覺，現在的神經網路跟生物細胞的複雜程度完全不是一個量級，還差得遠。

他不認為要做出真正有用的通用智能一定得先解決意識問題，但預期以後會有愈來愈多人對 AI 產生情感依附，甚至出現「機器人民權運動」，逼工程團隊開始面對系統能不能顯得有知覺這種法規問題。

他談起剛被選為英國皇家學會院士的老友 Ilya Sutskever，說對方打從早期就深信「把神經網路做大」這條路線，那場著名的 sequence to sequence 演講，他自己在飯店房間聽過更早、更大膽的彩排版本。

他大致同意 Rich Sutton「能吃下更多算力的通用方法最後都會贏」的說法，也認同深度學習該盡量不預處理資料、直接從原始位元組學起；但他覺得「搜尋」這一半沒那麼普遍適用，AlphaCode 靠大規模搜尋拿下接近人類的成績算是少數成功案例。

他認為有生之年做出「人類水準」的系統機率很高，靠模仿學習就能到位；但要「超越」人類還得靠強化學習定義出恰當的獎勵函數，這一步他沒有把握能在有生之年看到。

被問到面對這樣的未來是害怕還是期待，他說更擔心的是資源與能源的實際限制，也希望人類進入多星球時代時，人類跟機器人的比例不要差太多，「一比一」對他來說才算是好的平衡。