Meta

001 · 從撲克到 Diplomacy 的賽局 AI

60:36YouTube 上架 2023-04-25Noam Brown（Meta）

前 13 集的上架日是頻道補檔的日子（2023 年 4 月底一次補上），不是當初播出的日期，所以跟集號的先後對不起來。

No Priors Ep. 1 | With Noam Brown, Research Scientist at Meta

Noam Brown 從撲克一路談到 Diplomacy 的 Cicero，說明下一步為什麼要補上推理與推論時的搜尋，而不是只靠把模型越放越大。

001 講了什麼

• 從金融轉進賽局 AINoam 先做過幾年演算法交易，又在 Federal Reserve 待了 2 年，在那裡對 game theory 產生興趣。後來覺得這方面最有意思的工作在電腦科學系，進了研究所剛好有教授在找人做撲克 AI，就接了下來。
• AlphaGo 是警鐘Noam 說自己的轉折是慢慢累積的，其中 AlphaGo 最明確。Go 無法手寫盤面評估函數，AI 卻在 pattern matching 上贏過人，這件事讓很多人醒過來。
• Cicero 跑完 40 場沒被識破玩家事先不知道桌上有 bot。團隊原本擔心五場、甚至兩場就會被認出來，運氣好也許能撐到 10 場，結果撐滿 40 場。Noam 的解釋之一是玩家看到怪話，先想到的是對方很笨、分心或喝醉，最後才會想到 bot。
• 瓶頸是規模，不是資料Noam 認為資料不是主要瓶頸；現在的模型大概花 50 million 美元訓練，大概還能再放大兩個量級，之後就有大問題。所以 Noam 想走另一條路：在推論時花更多算力去思考。
• 合作型遊戲得懂人類的習慣只靠自我對弈，bot 可能學出一套人類看不懂的談判語言與默契。Cicero 的做法是用人類資料建出人類行為的粗略模型，再用 self-play 往上改。
• 撲克裡搜尋勝過放大Noam 在比賽後做的分析是，加入搜尋的效果大約等同於把模型與訓練放大 100,000x；博士班前三年靠放大做到的只有約 100x。

從哪一段開始看23 段

1. 00:05開場主持人介紹 Noam 的研究路線：不是一句 prompt 生成圖或文章，而是會彼此互動的賽局角色。
2. 00:37從金融走到撲克 AINoam 做過演算法交易，之後去 Federal Reserve，覺得經濟學的進展太慢，而賽局理論的重要工作多在電腦科學裡，才轉去研究所做撲克 AI。
3. 03:092012 年的 AINoam 說 2012 年入學時 AGI 像科幻，多數人覺得 AI 是沒落的領域，幾年後情勢才轉變，自己算運氣好。
4. 04:11AlphaGo 的衝擊轉折是慢慢累積，AlexNet 與 AlphaGo 最有感。Deep Blue 靠的是放大搜尋，Go 難在盤面無法手寫評估，AI 在這上面贏過人是一次警訊。
5. 06:45為什麼選 Diplomacy2019 年 GPT-2、StarCraft II、Dota II 都有進展，像 Settlers of Catan 這類遊戲顯得太容易，團隊想找需要全新技術的題目，選了自然語言談判。
6. 08:34Cicero 沒被識破為了避免變成 Turing test，bot 被放進玩家不知情的比賽。原本擔心沒幾場就被發現，結果完整跑了 40 場。
7. 10:53一則訊息與 Turing testNoam 舉例，bot 對擔心邊境兵力的玩家回了一則很有同理心的保證，其實並不打算攻擊對方。Noam 認為 Turing test 已不再是有用的衡量。
8. 12:55缺少的是推理多數模型靠 next word prediction，Cicero 則讓對話以計畫為條件。chain of thought 很有效，但只是把人類資料裡看過的思路再展開一次。
9. 15:13瓶頸是規模資料比想像中多，sample efficiency 也會進步。真正的限制是訓練成本，所以 Noam 想做另一條路：在推論時花更多算力。
10. 18:04Diplomacy 的資料資料來自 webdiplomacy.net，約 50,000 局、13 million 則訊息。預訓練語言模型再微調能讓 bot 會說話，但策略不夠：光靠監督式學習學不出好策略，資料又多半來自實力偏弱的玩家。
11. 21:14合作遊戲不能只靠自我對弈不用人類資料的 bot 可能學出人類聽不懂的語言與默契。Cicero 先建出人類行為的粗略模型，再用 self-play 微調，並延伸到自駕車必須預期別的駕駛也會犯錯。
12. 24:50遊戲當基準遊戲的好處是能客觀對照頂尖人類，題目也先於技術存在。但單一遊戲已不夠有挑戰，下一步要看通用性，並和圖像、問答等基準並用。
13. 28:01人類還佔優的地方實體世界與機器人落後；寫出下一本 Harry Potter 也許 5 年左右。人類最大的優勢是從少量樣本學習的 generality。
14. 30:05金融與談判Noam 問過不少金融公司 RL 對交易有沒有用，得到的答案多半是沒有；自己認為難處在市場是非穩態環境。談判方面，商品價格、薪資這類受限的題目 AI 現在可能已經做得比人好，合約則細節太多。
15. 33:25下一個題目：通用推理AlphaGo 少了搜尋就低於頂尖人類，而 Monte Carlo tree search 很依賴特定領域。Noam 想要一套像 transformer 那樣通用的方法，應用包含定理證明與 code generation。
16. 37:50光靠放大不夠不靠規劃、只放大神經網路去追上 AlphaGo，算下來要放大約 100,000x，不可能；AlphaGo 的做法是讓它下棋時花 30 秒思考。
17. 39:25通用架構還是多個模組主持人拿大腦的專門模組發問。Noam 說不必綁定特定技術，在意的是目標，也提到深度學習早年少數人的堅持，說明多元路線的價值。
18. 41:43給研究者的建議產品化現在就能有影響；研究方面，Noam 建議的不是選哪個領域，而是願意冒險，並說自己博士早期的研究影響其實不大。
19. 43:45Diplomacy 與合作說明這款 1950 年代的遊戲：七個強權、私下談判、同時公布行動。Noam 指出它是第一個涉及合作的重大遊戲 AI 突破，並談 centaur play 在 Go 與 Diplomacy 上還有用。
20. 49:12博士班的撲克 AI撲克的難處是隱藏資訊。當時每年比賽比的是 bucket 數量，從 5,000 到 30,000 再到 90,000，2014 年拿下 Annual Computer Poker Competition。
21. 52:19加上搜尋對上 4 位頂尖職業玩家 80,000 手而落敗後，Noam 發現人類會停下來思考，加入搜尋的效果約 100,000x。2017 年 1 月再戰，獎金 200,000 美元，bot 大勝。
22. 55:43Overbet開發尾聲還有多的算力，就順手加進 4x、10x pot 的下注選項，沒想到 bot 比賽中常用，賽後職業玩家說會把 overbet 納入自己的打法。
23. 58:34Nash equilibriumNoam 把撲克比喻成高維的西洋棋。玩 Nash equilibrium 長期不會輸，對手的小失誤就是自己的收益，現在已是職業玩家的共識。

值得記的話5 句

• we managed to go like the full 40 games without being detected as a bot我們撐滿了 40 場，沒被認出是 bot10:07

• It's not clear that data really is the the bottleneck on performance here.資料不一定是這裡的效能瓶頸15:47

• you could have a model that can prove the Riemann hypothesis within the next 5 years五年內就可能有模型證明 Riemann hypothesis；前提是推理問題能用真正通用的方式解掉35:46

• it improved the performance by about 100,000x加入搜尋讓表現提升了大約 100,000x53:37

• I kind of describe poker as essentially high-dimensional chess.我把撲克形容成本質上是高維度的西洋棋58:34

名詞與人物12 個

Noam Brown

Meta 的研究科學家，本集來賓，做過撲克 AI 與 Cicero。

Cicero

能用自然語言和人類談判、下 Diplomacy 的 bot。

Diplomacy

七人、以談判為核心、行動同時公布的桌遊，同時帶有合作與競爭。

webdiplomacy.net

提供約 50,000 局 Diplomacy 對話資料的網站。

self-play

讓 AI 和自己對戰來訓練策略，AlphaZero、Dota 2 bot 與撲克 bot 都用這種方式。

Monte Carlo tree search

AlphaGo 在神經網路之上加的規劃演算法，Noam 認為很依賴特定領域。

chain of thought

在 prompt 加上逐步思考，讓模型展開較長的推理，再得出更好的結論。

sample efficiency

學會一件事需要多少樣本；Noam 說人類遠比 AI 少。

Annual Computer Poker Competition

各實驗室每年讓撲克 bot 對戰的比賽，Noam 的團隊 2014 年贏得。

Nash equilibrium

撲克中長期不會輸的基準策略，對手出錯時自己就賺錢。

centaur play

人類與 AI 合作下棋；Noam 說在 chess 人類已幫不上什麼，在 Go 偶爾仍有用。

overbet

下注額遠大於底池，例如 4x、10x pot，原本在職業撲克很少見。

提到但沒有展開

• 後來做六人撲克，關鍵是讓搜尋只往前看幾步、不必算到牌局結束；那個 bot 贏了比賽，用雲端服務訓練的成本不到 $150。Noam 認為這說明突破來自演算法，不是算力。
• 談到用通用推理證明 Riemann hypothesis，Noam 說就算推論貴到每個 token 一百萬美元也值得；同一套方法或許還能寫出得獎小說、找出救命的藥。
• Noam 提到 John Nash 早期的賽局理論論文裡，唯一談到的應用就是撲克，還親手算了一個三人簡化版的 Nash equilibrium。

在 YouTube 看原片 ↗