Covariant

048 · 機器人的基礎模型與資料

40:58YouTube 上架 2024-01-24Peter Chen（Covariant CEO）

No Priors Ep. 48 | With Covariant CEO Peter Chen

Peter Chen 談 Covariant 為什麼要靠倉儲機器人收資料來訓練機器人的 foundation model，也談 grounding、模擬的極限，以及機器人的 ChatGPT 時刻要跨過什麼門檻。

048 講了什麼

• 先做產品才收得到資料Peter 說 2017 年離開 OpenAI 創辦 Covariant，是相信未來屬於 foundation model，但機器人沒有現成的資料集；唯一的辦法是讓一整批機器人在客戶現場創造價值，同時收 production 資料。Peter 說自己非常相信 Tesla 那套做法。
• 要的是會應變的機器人Peter 說世界上已部署的機器人 99 plus% 是只會照預設程式重複動作的 dumb robots。Covariant 不是要把這些用途做得更好，而是打開多上好幾個數量級、需要隨情況調整的場景，先從物流倉儲切入。
• 機器人缺的資料不一樣網路上的圖文配對講的是高階概念，沒有精確到次毫米的描述，也很少有「機器人做了什麼、結果如何」的配對。Peter 說這是機器人 foundation model 跟一般多模態模型最不一樣的地方。
• 押資料量，不押架構Peter 說架構大概已經大改過五次，公司唯一的押注是「未來的機器人，會由擁有最多機器人資料的人打造」。模擬只用來擴充資料，不拿來取代真實資料。
• 不必依賴湧現能力通用模型要面對訓練資料之外的情境，才需要強形式的 scaling law；機器人是特定領域，資料覆蓋可以密到測試情境本身就落在訓練資料裡。Peter 說客戶與資料越多，系統就一定會變好。
• 機器人的 ChatGPT 時刻門檻更高除了 ChatGPT 那種通用性，還要高可靠度；硬體也要划算，所以會先出現在全天候運轉的工業場景。倉庫比較可能變成一個人監督 10、20、30 台機器人，不會完全無人。

從哪一段開始看17 段

1. 00:06開場與入行原因Sarah Guo 介紹 Peter 在 OpenAI 與 Berkeley 的研究背景。Peter 說 unsupervised learning 與 reinforcement learning 在機器人身上合在一起，而且機器人拿得到 embodied data。
2. 03:00為什麼創辦公司2017 年離開 OpenAI 時，Peter 相信未來是 foundation model，但機器人沒有資料集，只能靠部署機器人替客戶創造價值來收資料，並拿 Tesla 做類比。
3. 05:39邊做產品邊累積Sarah 以自己參與過的自駕公司為例，談先投入研發與邊做邊收資料的取捨。Peter 說這必須循序漸進，就像 OpenAI、Anthropic、Cohere 的模型還不通用，但已經夠用就先上線。
4. 08:17傳統機器人很笨機械手臂很普遍，但多數只會重複預設動作。Peter 拿 Tesla 工廠搬車身的手臂，對比要分辨數十萬種商品的電商倉庫，說明目標是處理多樣性。
5. 10:53先從物流倉儲做起電商帶來大量需求，願意做倉庫工作的人又越來越少；Peter 說客戶的倉庫年流動率通常超過 100%，而過去沒有能做 pick、pack、ship 的機器人。
6. 12:29put wall 與抓取Peter 解釋 put wall 是把混合訂單分給不同客戶的實體路由器。辨識與路由比抓取更接近已解決的問題，但 AI 也能改善掃條碼這類步驟。
7. 15:48擴張與人形機器人Covariant 的 foundation model 不只為倉庫而做，但眼前專注倉庫裡的操作任務。Peter 很期待人形機器人普及，不過公司不依賴它。
8. 18:41公司規模與客戶公司大約 200 人，客戶約一半在歐洲、一半在北美，機器人部署在三個大陸、超過 10 個國家，全部共用同一個 foundation model。
9. 19:58什麼是 groundingPeter 說只讀文字學到的是純符號的連結，多模態模型靠網路上的圖文配對取得 grounding，GPT-4V 就是一例。
10. 22:36機器人缺哪些資料網路資料沒有次毫米等級的精度，也很少有「動作加結果」的配對。從影片看人類做事，又不知道手上用了多少力，回饋迴路補不完整。
11. 25:43scaling law 適用嗎Peter 說最技術意義的 scaling law 在機器人也成立；但只有通用模型才需要強形式的泛化，特定領域資料夠密就不用依賴。
12. 29:26唯一的押注架構一直在變，Covariant 押的是擁有最多機器人資料的人會打造未來。模擬用來擴充資料，不取代真實資料。
13. 30:43模擬為什麼不夠牽涉到接觸與會變形的物體，模擬就很難做；客戶倉庫可能有 100,000 種不同物品，把它們重建進模擬，比直接學會應付真實世界更費工。
14. 32:48機器人的 ChatGPT 時刻要有 ChatGPT 那種通用性，還要高可靠度。硬體上，24/7 運轉的工業場景比一週只用 2 小時的家用機器人更撐得起成本，所以會先到。
15. 35:07未來的倉庫與家用機器人Peter 預期倉庫不會完全無人，而是一個人監督一整批機器人的 copilot 模式。家用的第一步可能是像 Roomba、Amazon Astro 那樣不操作物品、會跟著人走的機器人。
16. 36:58安全工業機器人本來就要遵守安全規則，例如安全圍欄或認證過的 controller，所以 Covariant 的機器人從設計上就是安全的。把通用 agent 接上家用機器人則難得多。
17. 38:46展望與科幻Peter 預期今年的突破至少跟去年一樣多，因為現有方法還很原始；也期待開源繼續下去。最喜歡的機器人科幻作品是 Westworld。

值得記的話5 句

• the future of AI is going to be the future of foundation modelsAI 的未來，會是 foundation model 的未來03:33

• we strongly believe in the Tesla approach我們非常相信 Tesla 那套做法04:52

• 99 plus% of the robots that deploy in the world are dumb robots世界上已部署的機器人，99% 以上都是笨機器人08:47

• the future of Robotics would be built by whoever that has most robotics data機器人的未來，會由擁有最多機器人資料的人打造29:56

• one person would be able to oversee 10 20 30 robots一個人就能監督 10 台、20 台、30 台機器人35:25

名詞與人物9 個

Peter Chen

Covariant 共同創辦人兼 CEO，之前是 OpenAI 研究科學家、Berkeley AI Research lab 研究員。

Covariant

開發 AI 機器人的新創，所有部署出去的機器人共用同一個 foundation model。

foundation model

多任務、從大量資料學習、比較容易泛化到新任務的模型，Peter 認為機器人也會走這條路。

grounding

把符號式的抽象概念連到真實、物理世界的東西，例如蘋果實際長什麼樣子。

put wall

電商出貨的分揀步驟，Peter 稱為實體路由器，把混在一起的訂單分給不同客戶。

pick and pack

在倉庫拿起商品並裝箱，Covariant 眼前專注的場景。

embodied data

跟物理世界互動才取得的資料，不是瀏覽網路學來的。

out-of-domain generalization

面對完全落在訓練資料之外的情境時的表現，Peter 說通用模型才非得依賴它。

humanoid

人形機器人。Peter 說世界是照人體設計的，人形是能放進任何地方的通用硬體形態。

提到但沒有展開

• Peter 說大型語言模型大多還是用 next token prediction 訓練，在 reinforcement learning 圈子這叫 behavior cloning，是最原始的訓練方式之一：只是模仿，好壞就有天花板。
• 談模擬時，Peter 區分兩種：傳統用程式寫死物理規則的模擬，以及從真實世界學來、能推演「換個做法會怎樣」的 learned world model。Covariant 相信後者。

在 YouTube 看原片 ↗