空間智慧與 3D 世界模型

117 · 空間智慧與 3D 世界模型

35:47YouTube 上架 2025-06-05Fei-Fei Li（World Labs）

No Priors Ep. 117 | With Co-Director of Stanford's HAI & Founder of World Labs Dr. Fei-Fei Li

Fei-Fei Li 談為什麼現在創辦 World Labs、空間智慧為什麼是 AI 缺的一塊，也回頭講 ImageNet 的起點、做研究要「無所畏懼」，以及以人為本的 AI 長什麼樣子。

117 講了什麼

空間智慧是 AI 缺的一塊Fei-Fei 把空間智慧定義成理解、推理、互動並生成 3D 世界的能力，認為人和動物都有，沒有它 AI 就不完整。World Labs 要解的就是 3D 生成的基礎模型。
世界可以奇幻，但要合理Fei-Fei 說生成出來的世界應該寫實，至少要合理；可以是奇幻的，但幾何與物理必須說得通。動物演化出把光收進眼睛、在腦中重建 3D 世界的能力，但這個問題連動物也沒有完全解決。
機器人要混合資料，形狀也會很多樣Fei-Fei 認為訓練機器人會混用多種資料，也覺得模擬被低估（隨即補充業內專家其實沒有低估）；真正被忽略的是觸覺，要做操作就得把觸覺和視覺整合。形態方面，她的假設是任務差異太大，只用一種形態不符合能源效率。
近期應用在創作與內容Fei-Fei 拿 LLM 在軟體工程上的人機協作類比，認為設計師、3D 美術、遊戲開發者都會需要這種協作者；XR 缺的也是內容。資料稀少和 3D 不像語言那麼好交付，是兩個難處。
研究要無所畏懼從博士班時導師要她做到 100 個類別、她做了 101 個，到 ImageNet 被 AlexNet 證明，Fei-Fei 給研究者的唯一建議是無所畏懼：太理性就不夠勇敢，完全瘋狂又容易出事。World Labs 招人也看這一點。
以人為本Fei-Fei 希望 AI 協作並強化人，但愛、關係、正義這些價值不該被任何機器拿走。醫療是例子，因為現在缺的是人手、診斷與科學發現。

從哪一段開始看15 段

00:05開場與創業動機主持人介紹 Fei-Fei 的經歷。問為什麼現在創業，Fei-Fei 說自己想打造東西，而且相信空間智慧與 3D 世界模型。
01:23什麼是空間智慧理解、推理、互動並生成 3D 世界；設計、導航、模擬、AR 與 VR 都算在內，人和動物都有。
03:00World Labs 在做什麼做本質上是 3D 的世界模型，Fei-Fei 說就目前所知，World Labs 是第一家在解 3D 生成基礎模型的公司；生成的世界可以奇幻，但幾何與物理要合理。
04:38動物與人的空間能力從認知科學看，動物要靠眼睛重建 3D 世界，人閉眼畫周遭環境也不容易，所以能輕鬆編輯 3D 會很不一樣。
06:51還有哪些沒解決Fei-Fei 認為語言大致解決，3D 同樣關鍵又困難，另一塊是情緒智慧。主持人補上物理模擬、分子尺度與機器人。
09:14機器人與模擬資料資料會是混合的，模擬被低估；觸覺資料對操作必不可少。提到實驗室的形態智慧（morphological intelligence）論文。
11:57機器人形態會不會收斂面對「少數形態」與「大量專用形態」兩種看法，Fei-Fei 認為會朝效率優化，水下用魚形、不必人形。
13:33創作、XR 與強化學習創作領域可用 AI 強化人，類比 Cursor、Windsurf 的人機協作；XR 缺內容；設計的最佳化也適合 RL。
16:19訓練世界模型的難處資料取得與合成都吃力，不像 NLP 資料遍地；3D 也不像語言容易交付，沒人會只想坐著看 3D，產品化不容易。
18:02想進入哪個世界Sarah 問想進入什麼樣的世界。Fei-Fei 不玩遊戲，但孩子愛 Minecraft；想看微觀世界、引擎內部，甚至想待在洗碗機裡看看。
19:05PhD 與資料集的故事Sarah 說來之前問過 Andrej Karpathy 該問什麼，得到的答案是去問 101 類資料集的故事。2003 年左右物件辨識沒有資料可用，導師開口要 100 類，Fei-Fei 從字典的插圖挑了 101 個詞，還請媽媽幫忙清圖。
23:06職涯幾個時刻ImageNet 從被說拿不到終身職、靠 Mechanical Turk 解圍，到 AlexNet 勝出、Geoffrey Hinton 在 Toronto 公開肯定；另一個是 Andrej Karpathy 與 Justin Johnson 的圖像描述研究。
27:39學界還有機會嗎主持人問學界的創意研究還有沒有機會，還是只剩 10 billion dollar 的訓練。Fei-Fei 的唯一建議是無所畏懼，介於有點瘋狂與理性的大膽之間。
30:06要找什麼樣的人World Labs 找多元背景：圖學、視覺、資料、生成式 AI、基礎設施、最佳化；也看有沒有無所畏懼，從提問的角度判斷。
32:00以人為本的 AIFei-Fei 說創立 Stanford HAI 是另一件引以為傲的事，希望 AI 強化人，但不該拿走愛、關係、正義這些價值；以醫療為例，現在缺的是幫手、科學發現與診斷。

值得記的話5 句

it's so fundamental without spatial intelligence AI would be incomplete它是如此根本，少了空間智慧，AI 就不完整02:44
Nobody wakes up and say I'm just going to sit here and watch 3D沒有人一早醒來會說：我今天就坐在這裡看 3D17:46
for scientists the validation is not about recognition or awards. It's that you made a difference對科學家來說，肯定不是名聲或獎項，而是你確實帶來了改變24:11
be fearless. I think scientists and technologists and entrepreneurs have to be fearless要無所畏懼。我認為科學家、技術人和創業者都必須無所畏懼28:11
We do not have a issue of excessive humans or anything. We're lacking help.我們不是人太多，而是缺幫手34:09

名詞與人物10 個

Andrej Karpathy: Fei-Fei 的學生，Sarah 來之前先問過該問什麼；博士論文做的是圖像描述。
World Labs: Fei-Fei 共同創辦的公司，目標是發展具空間智慧的 AI，做 3D 生成的基礎模型。
spatial intelligence: 理解、推理、互動並生成 3D 世界的能力，人與動物都有。
world model: 本集指本質上是 3D 的世界模型，要求幾何與物理合理。
ImageNet: Fei-Fei 建的大型標註圖片資料集，上千個類別，對話裡說的是 15 million 張。
AlexNet: 在 ImageNet 上勝出的模型，Fei-Fei 把它列為職涯重要時刻。
Amazon Mechanical Turk: 建 ImageNet 時替 Fei-Fei 解圍的群眾外包工具。
morphological intelligence: Fei-Fei 實驗室的論文主題：代理的形態會隨任務最佳化而改變。
haptics: 觸覺資料，Fei-Fei 認為被低估，做操作時必須和視覺整合。
Stanford HAI: Stanford 的以人為本 AI 機構，Fei-Fei 說創立它是職涯中引以為傲的事。

提到但沒有展開

主持人補充，空間智慧往微觀走會連到材料科學與分子建模；對話也提到機器人很大程度是系統整合問題，動物的智慧也不全集中在大腦。
Fei-Fei 博士班畢業時以為「替圖片說故事」要花掉一輩子；結果 2013、2014 年 LSTM 加 CNN 一下子做出來，實驗室的成果與 Google 的是最早發表的，讓她差點有了「接下來幾十年要做什麼」的危機。

在 YouTube 看原片 ↗

World Labs