讓 AI 聞得到摸得到的三個團隊

光靠文字學不會真實世界。哈利介紹三個補上感官的團隊：Osmo 做嗅覺、Meta FAIR 做觸覺、李飛飛的 World Labs 做 3D，並聊這些路線走通之後的用途。

重點

文字不夠理解世界。哈利認為語言壓縮了大量資訊，又是好用的介面，所以 LLM 才會紅。但真實世界是 3D 加時間的 4D，連現在的多模態模型和影片生成模型，在他看來仍是從 2D 在想事情。

Osmo 把氣味變成資料。他們把李子切碎，用儀器分析氣體成分，再由 AI 判斷氣味，最後調出一份幾乎重疊的液體。哈利說這比較像重現氣味，不是傳送。核心是一張 250 幾個維度的氣味地圖，用 GNN 訓練，與受過訓練的人比賽勝率 53%。

Meta 讓機器人手指有觸覺。Digit 360 的指尖是會凹陷的彈性體，內側打光，再由相機看光怎麼扭曲。它還有感熱、氣體、麥克風和手指上的 AI 做反射動作。設計開源，搭配預訓練模型 Sparsh。

World Labs 賭 3D 世界。李飛飛等人成立兩個月，已融資 2 億 3 千萬美金，還沒有產品。目標是 Spatial Intelligence，也就是能在 3D 世界裡感知、理解並行動的模型。

多半還要等硬體。Osmo 的短期目標在香氛產業，Meta 和 World Labs 提出的應用（網購摸衣服、義肢、AR 作業系統）都要等其他公司的硬體成熟。

Osmo: 想讓 AI 理解嗅覺的公司，原本是 Google 內的團隊，由 Google Ventures 支持。
Principal Odor Map: Osmo 的氣味地圖，250 幾個維度的分子結構 embedding，維度的意義連 Osmo 自己也說不出。
GCMS: 氣相層析質譜儀，把氣體分離成各種化合物並分析分子結構，不是 Osmo 發明的。
GNN: Graph Neural Network，專門處理點和線組成的資料，Osmo 用它把分子結構轉成地圖上的點。
Digit 360: Meta FAIR 的機器人手指，能感知觸感、熱、氣體與聲音，設計開源。
Sparsh: Meta 預訓練的觸感模型，是給視覺式觸覺感測器用的通用 encoder。
GelSight: Meta 找來生產 Digit 360 的商業夥伴。
World Labs: 李飛飛等人 9 月成立的公司，目標是 Spatial Intelligence，只做 AI 模型不做硬體。
Spatial Intelligence: World Labs 自己定義的詞，指能在 3D 加時間的空間裡感知、理解並行動的模型，對應 Large World Model。
NeRF: 用多角度的平面照片渲染出 3D 物件的 AI 技術，Ben Mildenhall 是創始人之一。
3D Gaussian Splatting: 用 3D 高斯分布代表點雲中的點，哈利說嚴格來說不是 AI 技術；Christoph Lassner 研究出它的前身。
SSL: Self Supervised Learning，自監督學習，大型語言模型預訓練的做法，Sparsh 把它用在觸感影像上。