這一站 7 場,你看完 0 場

用標籤描述意圖的遊戲引擎

115Arturo Nunez(Nereu)19:322026-08-18 上架

The Next Game Engine Won't Have a Manual — Arturo Nunez, Nereu

用標籤描述意圖的遊戲引擎的演講縮圖

在 Unity 待過將近 10 年的 Arturo Nunez 在做 Nereu:資產只用標籤描述在遊戲裡的用途,使用者用玩遊戲的語言講想要什麼,助理替資產加減標籤,不寫程式也做得出遊戲。

這場講了什麼

  • 用描述取代寫程式:Arturo 放了一段錄好的 demo,請助理加機器人、用 WASD 移動、蓋建築、下雨、讓鏡頭跟著角色,全程只講想要什麼。這是玩過遊戲的人都懂的語言,不用學怎麼匯入模型。
  • 現有引擎與 LLM 之間只搭了一座橋:Unreal、Unity 與 LLM 都很強,但使用者還是得用引擎與程式的詞彙下指令,不然 LLM 會亂來,每次都把鏡頭跟隨這種東西重造一遍。Arturo 認為預設的脈絡放在引擎、不在遊戲設計,應該反過來。
  • Asset Tag System:每樣東西都是資產,都要渲染、多半有物理,再用標籤寫出它在遊戲裡的用途,例如角色、有動畫、二段跳。概念來自 Entity Component System,由系統去查詢帶有特定標籤的資產再處理它們。
  • 助理只負責加減標籤:助理知道有哪些工具與標籤,組 prompt 時帶入場景、遊戲裡用了哪類資產,以及使用者描述的遊戲類型。引擎刻意不做腳本系統,只有跑在瀏覽器的 JavaScript,想擴充的人可以自己寫。
  • 用 level of detail 的想法管脈絡:整個場景全丟給 LLM,脈絡會暴增;所以使用者正在編輯的物件附近給完整的標籤資訊,遠的只簡單帶過,隨著編輯持續更新。
  • 目標是讓人不卡關:Arturo 不想一鍵生成沒人玩的遊戲,希望大家做出遊戲、分享給家人朋友,順便學會遊戲設計的語言。

影片從哪一段開始看15 段

  1. 00:13開場與 demoArturo 介紹正在做的 Nereu,放錄好的示範:請助理加一個機器人當主角,再描述要用 WASD 移動、要有動畫。
  2. 02:15蓋建築、下雨、加鏡頭從資產庫挑建築,描述一下就生成設成雨的粒子系統,再加一台跟著角色的鏡頭,沒寫程式就有了一個遊戲。
  3. 03:57為什麼是我來講Arturo 在 Unity 待了將近 10 年,看過太多人一再卡在同樣的事;後來去了 MongoDB,也幫一家新創處理遊戲資產的版本控制。
  4. 05:36做遊戲有多難要會程式、3D 建模、渲染等很多事,小團隊得一人身兼數職;遊戲還得好玩。Arturo 認為不必是專業開發者也能做遊戲。
  5. 06:50引擎與 LLM 之間的鴻溝使用者要懂引擎的詞彙才下得了指令,否則 LLM 每次都重造一遍鏡頭跟隨,脈絡應該放在遊戲設計。
  6. 07:46現有引擎的樣板控制一個角色要網格、渲染器、動畫器、剛體、碰撞器、音源一堆元件,Arturo 認為多半是每個遊戲都有的樣板。
  7. 08:35用標籤描述意圖一切都是資產,加標籤說明它在遊戲裡要做什麼,就像教學說的「按 A 跳、在空中再按一次二段跳」;也能定義撿到金幣就加分這類事件。
  8. 09:23Asset Tag System源自 Entity Component System,物件用標籤描述,系統再查詢帶有 vehicle、player、drivable 標籤的資產去移動它們。
  9. 10:33助理怎麼運作助理知道有哪些工具與標籤,組 prompt 時帶入場景、資產風格與遊戲類型,再呼叫工具加減標籤。
  10. 11:41刻意不做腳本系統標籤與系統都內建在引擎裡,只有跑在瀏覽器的 JavaScript,想擴充可以做,但多數使用者用不到。
  11. 12:15把遊戲拆成標籤最難的是拆解:同一種遊戲有很多講法,還有「恐怖的平台遊戲」這種情緒,會牽動後處理與燈光,都要拆成能驅動引擎的標籤與系統。
  12. 12:49怎麼開發 NereuArturo 每天跟 Claude 討論想法,再去問專精那一塊的業界朋友,砍掉用不到的設定;新工具的定義也會給助理,目前還在封閉 alpha。
  13. 13:59資產標記與脈絡組裝六、七千個資產靠視覺模型看截圖來標記;組脈絡借用 level of detail 的想法,選取物件附近給詳細標籤,遠處簡述。
  14. 16:40助理的定位Arturo 不想一鍵生成沒人玩的遊戲,要讓人不卡關、做完分享出去,並學會遊戲設計的語言。
  15. 17:29與 world model 的比較Arturo 認為 world model 會是另一種媒介;用它即時跑 4K、每秒 60 幀,還要模擬物理,還差得很遠。

值得記的話5 句

  • The idea here is that we can let our imagination go wild.這裡的想法是,我們可以讓想像力盡情發揮02:34
  • By default, the context is on the game engine rather than on the game design part.預設的脈絡放在遊戲引擎,而不是遊戲設計07:29
  • most of that is just boilerplate that every single game out there has那些多半只是每個遊戲都有的樣板08:02
  • Everything has to be rendered on screen. Everything has physics most of the time.一切都要渲染在螢幕上,多半也都有物理08:35
  • I don't want us to one-shot games that nobody is going to play, and I don't see the point in that.我不希望我們一鍵生成沒人會玩的遊戲,我也看不出那有什麼意義16:40

名詞與人物5 個

Nereu
Arturo 正在做的遊戲引擎,用描述與標籤做遊戲,目前是封閉 alpha
Asset Tag System(ATS)
資產只用標籤描述用途,系統再查詢帶特定標籤的資產去處理
Entity Component System
遊戲開發裡資料導向設計的做法,物件由元件組成,ATS 的靈感來源
level of detail
遊戲裡近的東西用高品質、遠的用簡化模型的做法,Arturo 拿來決定給助理多少場景資訊
world model
即時生成畫面的另一類工具,Arturo 認為會是不同的媒介

提到但沒有展開

  • 標籤可以隨意搭:沒有標籤的建築不會動,但幫它加上 vehicle 與 drivable,就成了能放進 Mario Kart 風格遊戲裡開的車。
  • 有使用者用過之後說終於懂了以前不懂的遊戲設計概念;Arturo 說這原本不是目標。

Agent開發工具

在 YouTube 看原片 ↗

同一站:Multimodal AI7 場

  1. 讓 agent 用 HTML 直接做影片030 · James Russo(HeyGen) · 15 分
  2. 把剪片交給 agent,做給一般人用112 · Ekaterina Deyneka(Reelful) · 13 分
  3. 影片生成的另一條軸:效率113 · Keegan McCallum(uRun) · 9 分
  4. 用標籤描述意圖的遊戲引擎你在這裡
  5. 即時互動影片是下一種媒介116 · Ahmed Ahres(Reactor) · 18 分
  6. 替語音 agent 加上即時影像118 · Sidney Primas(LemonSlice) · 27 分
  7. 讓吉他開口說話的 plug-in119 · Todd Fisher(Philo Ventures) · 19 分