Physical Intelligence

107 · 通用機器人要先補資料多樣性

35:14YouTube 上架 2025-03-20Chelsea Finn（Physical Intelligence）

No Priors Ep. 107 | With Physical Intelligence Co-Founder Chelsea Finn

Chelsea Finn 談通用機器人模型：為什麼先補資料多樣性、為什麼刻意走開源，以及對人形機器人、感測器和未來機器人形態的看法。

107 講了什麼

• 目標是一個能控制任何機器人的模型Physical Intelligence 想做一個大型 neural network，讓任何機器人在任何情境做任何事，不像過去的機器人公司只深耕單一應用。不同機器人平台的資料都要用，換新版機器人時資料也不用丟掉。
• 現階段最缺的是多樣的資料Chelsea 說首要工作是蒐集更多元的真實機器人資料，去年 10 月釋出的那批只在三棟建築裡收。影片、預訓練模型和基本推理也在試，但排在後面。
• 開源是刻意的選擇Physical Intelligence 公開了部分 weights 和技術論文，也把機器人設計提供給硬體公司。理由包括領域才剛起步、頂尖研究者想要公開成果，以及 Chelsea 認為最大的風險是沒有人解得出這個問題。
• 用兩層模型處理長任務高階模型讀使用者的 prompt，推理出下一步要做什麼；低階模型再輸出接下來約半秒的馬達指令。展示的任務有做三明治、買菜和清桌子。
• 感測器不是現在的優先事項Chelsea 說 RGB 影像加上手腕相機已經能走很遠，觸覺感測器則是不夠耐用、太貴或解析度太低。目前的 policy 沒有記憶，Chelsea 寧可先加記憶，再談其他感測器。
• 人形機器人被高估，未來硬體會很多元Chelsea 覺得人形機器人有點被高估，遙控也比固定式或輪式機械手臂難。Chelsea 押的是機器人平台多樣化，並引用共同創辦人 Sergey 說的「Cambrian explosion」。

從哪一段開始看15 段

1. 00:02開場與研究背景主持人介紹 Chelsea Finn。Chelsea 從 PhD 起做用 neural network 直接從影像控制機械手臂的研究，難處是讓機器人在許多環境、許多物體上都做得到。
2. 03:08Physical Intelligence 的方向主持人提到 Chelsea 和另外四位共同創辦人一起創立。目標是控制任何機器人的大模型，重視 generalist，並讓資料能跨機器人平台轉移。
3. 05:13資料與架構機器人沒有網路規模的資料，靠遙控蒐集真實資料。架構用 Transformer 加預訓練的 vision language model，Taylor Swift 的例子說明網路知識如何轉到機器人。
4. 08:05還缺什麼首要是更多元的機器人資料，其次是人類影片、預訓練模型和基本推理，例如做三明治時處理對 pickles 過敏的要求。
5. 09:38開源與最大風險說明為何公開 weights、論文和機器人設計。Chelsea 最擔心的不是競爭者，而是沒人解得出來，因為機器人幾乎沒有容錯空間。
6. 13:00近期應用與容錯Chelsea 不確定最先落地的應用是什麼。機器人自主行動時沒有人檢查輸出，所以要設計能容錯、或人機合作的情境。
7. 14:49人形機器人與具身智慧人形機器人有點被高估，遙控更難，團隊用便宜、容易做遙控介面的機器人。Chelsea 認為大家低估了動作控制需要的智慧。
8. 17:41讓領域加速的研究舉出幾個轉折：用語言模型做高階規劃、把網路資料帶進機器人、RTX 的跨機器人訓練，以及 Aloha 的遙控資料。
9. 19:48階層式互動機器人當天發表的 hierarchical interactive robot。高階模型推理出下一步，低階模型輸出馬達指令，讓機器人聽得懂「我吃素」之類的情境提示。
10. 22:25感測器與記憶靠 RGB 影像和手腕相機就走得很遠。觸覺、嗅覺目前不是優先，Chelsea 寧可先替 policy 加上記憶。
11. 25:18與自駕車比較機器人的維度更高、資料更少，但很多商業用途不必處理整個分布，也比較沒有安全風險。
12. 27:07時機與新進者自駕車十年前可能太早，機器人現在也可能還太早。Chelsea 比較在 Google 與新創的差別，大公司資本多但動作慢。
13. 28:42給創業者的建議盡快學習、盡快部署、盡快迭代。Chelsea 也提醒自己只當了 11 個月的創業者。
14. 29:15人類影片與自身經驗人類影片有價值，但單靠它走不遠，機器人需要自己身體的經驗。蒐集資料像 Aloha 的 puppeteering，之後自主經驗與 reinforcement learning 會很重要。
15. 31:53機器人形態的未來Chelsea 押多種機器人平台並存，各自針對用途優化。主持人從供應鏈提出反方向的力量：量產會讓硬體收斂成少數幾種。最後落在供應鏈裡也會有機器人，「robots all the way down」。

值得記的話5 句

• I'm not really worried about competitors, I'm more worried that no one will solve the problem.我不太擔心競爭者，我比較擔心沒有人能解決這個問題11:43

• On one hand I think humanoids are really cool and I have one in my lab at Stanford, on the other hand I think that they're a little overrated.我覺得人形機器人很酷，我在 Stanford 的實驗室就有一台；但我也覺得它們有點被高估14:49

• I feel like actually people underestimate how much intelligence goes into motor control.我覺得大家其實低估了動作控制需要多少智慧16:39

• Our policies right now do not have any memory, they only look at the current image frame.我們現在的 policy 沒有任何記憶，只看當下的影像畫面24:46

• I think the robots actually need experience from their own body in order to learn.我認為機器人其實需要來自自己身體的經驗才能學會30:17

名詞與人物9 個

Physical Intelligence

Chelsea 與另外四位共同創辦人創立的公司，要把通用 AI 帶進實體世界。

Sergey

Chelsea 的共同創辦人，曾說機器人硬體會有一場 Cambrian explosion。

generalist

能處理多種任務、多種環境的機器人模型，與只做單一應用的機器人相對。

teleoperation

由人遙控機器人來蒐集資料，是 Physical Intelligence 目前蒐集資料的主要方式。

vision language model

預訓練的視覺語言模型，用來帶入網路上的知識。

policy

機器人的控制模型，輸入畫面，輸出動作；目前沒有記憶。

Aloha

用遙控蒐集資料、訓練靈巧操作任務的研究，後來有 mobile Aloha 版本。

RTX

把不同實驗室的機器人資料整合成共同格式、跨機器人訓練的工作。

hierarchical interactive robot

當天發表的系統，高階模型負責推理下一步，低階模型負責輸出動作。

提到但沒有展開

• 主持人提到《The Diamond Age》這本書裡，家家戶戶接 matter pipe、用 3D printer 製造一切的情境，追問機器人硬體會不會往這個方向演化。Chelsea 認為這樣的世界有可能，針對用途優化的硬體可以更便宜、更快。
• Chelsea 提到 Aloha 之後的 shoelace tying 後續研究，有人說看到機器人綁鞋帶就會退休。

在 YouTube 看原片 ↗