哈利先聊 Telegram 執行長在法國被捕的言論自由爭議，再拆解 Google 用 Diffusion 模型即時模擬 DOOM 的論文，最後談 AI 對遊戲產業的影響。
重點
被捕不等於言論審查。哈利說，如果法國政府的聲明屬實，單純是為了打擊犯罪而 Telegram 不配合，他覺得逮捕執行長合理。他自認偏向言論自由，但恐怖攻擊、CSAM 這類內容他認為已經是犯罪行為，不算言論。
Telegram 管得動卻沒管。哈利指出 Telegram 沒做端到端加密，伺服器看得到使用者的對話，所以他認為不是做不到，而是選擇不管制。
GameNGen 是有趣的實驗。Google 的團隊訓練 Diffusion 模型，根據過去 64 幀畫面與玩家輸入產生下一幀，做到每秒 20 幀、玩起來像在玩 DOOM。哈利說論文沒有技術突破，價值在概念驗證。
三個步驟做出來。先用 RL 訓練各種程度的 AI 玩家，收集 9 億幀畫面；再拿 Stable Diffusion 1.4 繼續訓練；推論時一台 TPU v5e 就跑得動。
實用性很低，限制很明顯。模型只記得過去 64 幀，狀態全顯示在畫面上的 DOOM 才玩得起來；哈利說它對 DOOM 過度擬合，已經只會產生 DOOM 的畫面。
對遊戲產業的想像。哈利認為生成式遊戲還很遠，近期影響比較大的是 Text to 3D 和接上大型語言模型的 AI NPC。
時間軸 點時碼從那一段開始
- 寬板滑水初體驗哈利上週第一次玩寬板滑水，看到祖克柏在玩才想試；教練要他順著浪起身，他第二次就站起來，隔幾天全身痠痛、握力一度消失。
- Telegram 執行長被捕本週主題是 Google 論文，先講其他新聞。Telegram 執行長 Pavel Durov 在巴黎被逮捕，起因是 Telegram 不配合政府打擊犯罪。
- 為何成了犯罪工具兩個特點：可以建二十萬人的超大群、主打保護隱私。恐怖組織、毒品、CSAM 因此都在上面出現，ISIS 就是在上面組織的。
- 言論自由的爭論逮捕一開始沒說原因，網路上多數討論集中在言論自由，X 上有人發起要求放人的 hashtag，馬斯克發文批評，以太坊創辦人 Vitalik 也公開斥責法國政府。
- 哈利的立場哈利一開始的反應跟馬斯克類似，但法國政府發聲明說不是出於政治因素。他說假設聲明屬實，那他覺得合理，自己雖然偏向言論自由，仍有不能退讓的底線。
- 天理不容的內容不是言論哈利說 Telegram 沒做端到端加密所以看得到內容。他認為這些內容已經是犯罪行為，並承認有些標準很難畫線，例如國會暴動前的推文。
- 對反對意見的回應對「這會是壞先例」的擔憂，他說政府真的過度干預時再反對就好。他還提到馬斯克的 X 也在封 ISIS 帳號，以及祖克柏說疫情期間受到拜登政府壓力。
- Cerebras 推論引擎Cerebras 宣稱比 GPU 快 20 倍、省 5 倍成本。demo 跑 Llama 3.1 8B 到 1800 多 tokens per second，哈利拿 ChatGPT 大約一二十到三十幾來對照，同時提醒兩邊模型大小差很多，不能直接比。
- Starliner 與 Polaris DawnNASA 確定 Starliner 空船返回，Crew Dragon 明年 2 月接回兩位太空人，跟哈利上週的預測一樣。SpaceX 的 Polaris Dawn 因天氣尚未發射。
- 切入 GameNGen 論文論文在機器學習圈這幾天很紅，一般媒體沒報。哈利說它不是重大突破，而是個有趣的實驗。
- DOOM 是什麼遊戲1993 年的 FPS 始祖，3D 其實是 2.5D 的平面圖像。整個遊戲只有 2.39MB，所以連吐司機、微波爐都有人拿來跑。
- 用 AI 取代遊戲引擎模型根據過去 64 幀與玩家輸入產生下一幀，每秒 20 幀，開槍、扣血、撿盔甲都正常。看不出哪張是 AI 生成，但沒有開源。
- 三個步驟與價值收集資料、訓練、推論。技術都是前人用過的，模型也是接著別人預訓練的繼續訓練，所以他說這是很酷的 POC，沒有技術突破。
- 步驟一：RL 玩家收集資料在 ViZDoom 環境裡訓練不同技術等級的 RL Agent 去玩，記錄畫面與操作，共收集 9 億幀。哈利說訓練 Agent 不難，難的是收集這麼多資料。
- 步驟二：訓練模型用 Stable Diffusion 1.4 繼續預訓練，在 128 個 TPU v5e 的叢集上訓練，這對個人是做不到的規模。哈利估計 9 億幀差不多是 Stable Diffusion 原本預訓練資料的將近一半，所以不算 Post-training。
- 自回歸漂移與雜訊把自己的輸出當下一步輸入，小錯誤會越滾越大。論文在訓練資料加高斯雜訊，讓模型學會從不完美的畫面預測。
- 步驟三：推論與幀數一個 TPU v5e 就能跑，模型約 1.7GB，哈利推測一般電競筆電也跑得動。重點在幀數。
- Diffusion 慢卻做到即時Diffusion 一步步去雜訊所以比 GAN 慢。論文每個去雜訊步驟約 10 毫秒，4 步就夠，加上 VAE 的 10 毫秒共 50 毫秒，正好 20 幀。
- 論文內容小結哈利用三句話回顧：RL Agent 收集 9 億幀、訓練 Stable Diffusion 1.4、在一個 TPU v5e 上跑出 20 幀。接著進入他想談的重點。
- 實用上的限制只記得過去 64 幀，約三秒多。DOOM 的狀態全顯示在畫面，黑神話悟空這類要開選單才看得到的遊戲就沒辦法。
- 過度擬合與耗資源DOOM 的狀態空間很小，模型對它過度擬合，只能產生 DOOM。拿 1.7GB 模型模擬 2.4MB 的遊戲，哈利說算力上是浪費。
- 概念驗證的意義論文想回答的是需要多少資料、訓練多久、能做到什麼程度。哈利說它的功用是激發對未來生成式遊戲的想像。
- 生成式遊戲的想像假如能做到 3A 大作，可以大幅降低開發成本。有第一代遊戲就能訓練出續集，甚至無限延伸的版本。
- 傳統渲染 vs 直接生成像素3D 遊戲每次移動都要重算座標、投影、遮擋、光影。Diffusion 直接給每個像素的顏色，但哈利說即時運算不一定省算力，省的是開發時間。
- 近期影響：Text to 3D哈利猜最快影響遊戲業的是輸入文字或幾張照片就生成 3D 物件的模型，修改後使用，比從頭刻快很多。
- AI NPC接上大型語言模型的 NPC 能靠 function calling 自己決定要不要赴約、吃東西、逃跑，哈利說會像有了自我意識，雖然是假裝的。
值得記的話
▶ 14:57「我覺得這些天理不容的內容他們已經跳脫言論自由討論的範圍了」
▶ 41:02「簡單來說就是模型一步走歪之後它後面就會越走越歪」
▶ 55:20「你要產生新的劇情新的角色或者是新的遊戲都是完全不可能的」
▶ 57:13「它的功用是讓我們去激發對於未來的想像」
▶ 1:02:25「但重點是你省了很多遊戲的開發時間」
名詞與人物
- Pavel Durov
- Telegram 的俄羅斯裔執行長，在巴黎被逮捕，哈利順帶提到他練得很壯。
- Telegram
- 類似 WhatsApp、Line 的聊天軟體，可建二十萬人的大群，主打隱私。
- CSAM
- Child Sexual Abuse Material，未成年人的性犯罪影音。
- Cerebras
- 推出號稱比 GPU 快 20 倍的 AI 推論引擎的公司。
- GameNGen
- Google 論文裡的模型名，Game Engine 的諧音。
- DOOM
- 1993 年推出的 3D FPS 遊戲，實際是 2.5D，整個遊戲 2.39MB。
- ViZDoom
- 已有人建好、可讓 AI 在裡面訓練的 DOOM RL 環境。
- RL（增強式學習）
- 把 AI 丟進環境，用 Reward Function 引導它自己探索。
- Stable Diffusion 1.4
- Stability AI 的開源 AI 繪圖模型早期版本，論文拿它繼續訓練。
- TPU v5e
- Google 自家的 AI 加速器，哈利猜 e 是 Efficiency，偏輕量、常用於推論。
- 自回歸漂移
- 模型把自己的輸出當下一步輸入時，小錯誤逐步累積放大。
- 過度擬合
- 模型對訓練資料背得太熟，換個情境就不行。
延伸
- 哈利提到之前做過一整集介紹 Groq，這集的 Cerebras 是同類的推論引擎，他說下次有類似話題會再講。
- 上週哈利聊過波音 Starliner 事件，這集補上 NASA 的最終決定；SpaceX 的 Polaris Dawn 等發射之後他再說明。
- 哈利說 Text to 3D 與 AI NPC 是近期最快影響遊戲業的兩個方向。