← 回到天際線 思考機器第 38 層 / 102

EP 1472020-12-202:23:10

打造真正無人的自駕車隊

Dmitri Dolgov

Waymo 技術長 Dmitri Dolgov 談自駕車從 DARPA 挑戰賽一路走到全無人的公開載客服務,中間的技術突破與產品取捨。

Dmitri Dolgov: Waymo and the Future of Self-Driving Cars | Lex Fridman Podcast #147在 YouTube 看 ↗

重點5 條

  1. DARPA 挑戰賽開啟自駕之路:Dolgov 2006 年加入 Stanford 隊伍參加 DARPA Urban Challenge,是他從應用數學、物理與理論電腦科學跨進機器人領域的起點;那次比賽也直接促成 Larry Page 與 Sergey Brin 在 2009 年成立 Google 自駕車計畫,Dolgov 是最初約十二人團隊的一員。
  2. 「無人」是分階段拿下的:從 2015 年在 Austin 用無方向盤的 Firefly 原型車載一位盲人乘客試乘,到 2017 年 10 月開始常態的無人駕駛營運;Dolgov 說第一天有些車駕駛座上仍坐著人但不能介入,有些里程則是駕駛座完全空著,Lex 認為這兩者的差別很多人沒注意到。
  3. 可預測比聰明更重要:被問到上車點怎麼決定時,Lex 提出「像 Google 搜尋建議參考別人過去的選擇」這個類比,Dolgov 同意,並強調寧可選不那麼最佳、但自然又可預期的做法——車子準時出現在指定地點、能在畫面上顯示自己正停在紅燈前,這些小細節能讓乘客覺得驚喜。
  4. 感測器互補,機器學習貫穿整條 stack,但不是全部端到端:Dolgov 認為光達、攝影機、雷達物理特性不同、彼此互補,拿掉任一種都是自找麻煩;但系統不是單一神經網路從感測器直接輸出方向盤轉角,像紅綠燈這種有清楚規則的地方,他們會把「紅燈停」這種語意直接寫進系統,機器學習則用在判斷其他用路人實際上會不會真的停下來。
  5. 行人安全靠長尾工程,不是電車難題:他把電車難題視為對實際工程沒什麼幫助的思想實驗,真正在做的是靠感測與反應能力把車開得夠有防禦性,避免真的落入那種兩難情境;他舉了一次在 Phoenix 的真實案例:自行車騎士跌進測試車前方,測試駕駛及時閃過,事後模擬顯示系統也會這樣做。

時間軸27 段

01 02:06
童年寫程式的起點

Dolgov 回憶第一台家用電腦是 IBM,先玩遊戲、後來自己動手用 Pascal 寫了一款遊戲,一家日本遊戲公司曾出價想買下它,他選擇免費放上網、指望玩家自願捐款,結果收入沒有想像中好。

02 07:35
想當交通警察的兒時夢想

四五歲時的夢想其實是當蘇聯時代在路口指揮交通的警察,物理學教授父母對這個志向有點傻眼;他打趣說也許正是這股對交通的著迷,讓他最後真的一路做進了交通運輸這一行。

03 09:58
從物理踏入機器人:MIPT 到 Stanford 博士後

他在莫斯科的 MIPT 唸完物理與數學的學士和碩士,父母都是那裡畢業的;後來到密西根念研究所,又到 Stanford 做博士後,才真正接觸機器人與自駕車。

04 12:51
加入 Stanford 參加 DARPA Urban Challenge

2006 年他加入 Stanford 隊伍參加第三屆 DARPA 挑戰賽(前兩屆是在沙漠靜態環境跑的 Grand Challenge),這次改成要在模擬市區裡跟其他自駕車和真人駕駛共享道路,是自駕車第一次要處理動態環境。

05 16:43
停車場深夜測試與「勝利圈」bug

他負責的停車場自由空間規劃演算法第一次上車測試是在半夜三點的 Stanford 校園,雖然還很陽春但跑起來出乎意料合理,讓他整晚睡不著;比賽當天他們的車也因為一個路徑規劃的 bug,在起終點旁的橢圓賽道碰到檢查點後,多繞一圈才離開,後來被戲稱是「Stanford 勝利圈」。Stanford 最後拿第二;他照自己對規則的理解讓車倒車離開停車格,CMU 的車則直接往前開出去,多花的時間該算誰的,到現在還有爭論。

06 23:33
Google 自駕車計畫的誕生

Larry Page 與 Sergey Brin 看了 DARPA 挑戰賽後找上這批人,2009 年成立了約十幾人的 Google 自駕車計畫;團隊一開始設定兩個里程碑:累積十萬英里自動駕駛里程,以及跑完十條各一百英里、途中完全不需人為接管的高難度路線。

07 30:06
轉向全自動駕駛的關鍵決定

2010 年完成兩個里程碑後,團隊先花了兩年左右做高速公路的駕駛輔助(L3),2013 年前後才轉向「完全無人駕駛」,因為兩者從一開始的系統設計思路就完全不同,這個決定之後就沒有再動搖過。

08 31:57
從 Firefly 到 Waymo 成立

2015 年他們用沒有方向盤、沒有踏板的原型車 Firefly,載著一位盲人乘客在 Austin 完成沒有安全人員的公開道路試乘;2016 年底到 2017 年初獨立成立 Waymo,2017 年 10 月開始常態化的無安全駕駛營運。

09 37:56
Waymo One 上路與第五代硬體

2018 年在 Phoenix 推出商用服務 Waymo One,2019 年開放早期用戶體驗真正無人的載客服務;2020 年公司完成首輪對外募資(約 32 億美元),並把第五代自駕硬體裝上新的 Jaguar I-PACE。

10 39:33
感測器規格與運算平台

車上有 29 支攝影機、5 顆光達、6 顆雷達,光達幾乎全部自行研發生產;被問到用什麼晶片、多少算力時,Dolgov 半開玩笑地拒絕透露細節,只透露系統需要非常吃資料、吃運算力的機器學習模型,車隊的即時資料回傳與離線訓練是另一塊龐大的基礎建設工程。

11 48:25
車隊聯網與人工協助

每輛車都能獨立完成所有駕駛決策,不依賴連線;但車輛之間會即時分享路況(例如新出現的施工或事故)更新彼此的地圖資訊。車上沒有「遠端操控」,只有客服性質的 Live Help 讓乘客通話,以及在車輛遇到棘手狀況時,讓有連線的遠端協助人員確認車輛判斷的行動方案。

12 53:25
Phoenix 公開上路與使用者反饋

2020 年 10 月 8 日,Waymo One 把全無人、只載乘客的模式開放給一般大眾,目前需求超過運力;用戶回饋在 App 內用星等評分,多數給出五星。服務範圍比舊金山還大,乘客從一兩歲的小孩到日常接送上學、買菜、上餐廳酒吧、辦事、通勤上班都有,用車習慣五花八門。

13 58:16
蒐集反饋的管道與真實案例

除了行程中與結束後的評分,還有客服對話與長期追蹤的使用者研究;他舉例乘客扛著滿滿的雜貨、載著自己的腳踏車上車,也提到系統一開始單純用直線距離找離圖釘最近的停靠點,有一次替一位乘客選的下車點在停車場另一側,隔著一整排仙人掌,對方只好在華氏 110 度的高溫下繞停車場一大圈,後來才修正。

14 1:02:22
可預測勝過聰明的產品哲學

Lex 開玩笑說找上車點根本需要 AGI,並提出一個類比:Google 搜尋建議常常只是參考別人過去實際的選擇;Dolgov 同意,並補充寧可選不那麼最佳、但自然又可預期的做法——手機跟車子其實是兩台互相溝通的電腦,車子能準時出現在指定地點、還能在畫面上顯示自己正停在紅燈或標誌前,這類小細節能讓乘客覺得驚喜。

15 1:05:50
打造讓人愛上的產品

Lex 分享自己愛用的幾個產品——Rev.com 的字幕服務、iZotope RX 的音訊清理、Amazon 一鍵購買——都是靠去除摩擦讓人愛上;Dolgov 回答 Waymo 的目標同樣是把叫車、上車、抵達目的地整個過程的摩擦降到最低。被問到 Waymo 想當背景裡看不見的工具,還是讓人喜歡的存在時,他認為真正讓人愛上 Waymo 的是安全、可預測與隱私:同一台車、同樣可預期的行為,加上不必與陌生人共乘的隱私感。

16 1:13:11
「不必違規也能開得好」的駕駛風格

針對「自駕車是不是太過保守」的提問,他說真正厲害的司機(他舉專業禮車司機為例)開得果斷、流暢又有效率,同時也很守規矩,不需要滑過停車標誌不停、亂變換車道;他用精確率與召回率的權衡類比,真正的進步是把整條能力曲線往上推,而不是在「保守」與「冒進」之間二選一。

17 1:18:32
Waymo Via:貨運與空車模式

Waymo Via 負責載貨,其中卡車運輸從 2017 年開始做,跟載客業務共用同一套核心技術(硬體、感知、決策、模擬等),只是感測器配置與資料分布不同;完全空車移動時的駕駛行為跟載人載貨時幾乎一樣,車輛不會因為車上沒東西就改變開法。

18 1:24:20
擴大規模的三個維度

要從 Phoenix 擴大到更多城市,他歸納出三個要一起做的維度:核心軟硬體技術(第五代平台)、評估與部署流程(怎麼有信心地把新版本推上車隊)、以及產品與商業營運的成熟度;Phoenix 是把整套流程走過一遍的實驗場,還不到能大量複製貼上到其他城市的階段。目前已在超過 25 個城市測試,包括舊金山,也在密西根測雪地。

19 1:36:38
政府關係與回應 LiDAR 質疑

每到一個新地區測試或營運,團隊都會先跟地方、州、聯邦層級的政府展開對話;被問到 Elon Musk 說光達是「拐杖」,Dolgov 不認同,他認為成本與外觀都不是真正的問題,放棄任一種感測器等於平白放棄一種能讓系統更安全的能力。

20 1:41:37
端到端學習能不能開車

Lex 提到 Tesla 用單一神經網路做多工學習、以及 comma.ai 更激進的端到端做法,問開車到底能被學到什麼程度;Dolgov 認為最純粹的端到端(原始感測器資料直接輸出方向盤與煞車)不是對的做法,他們的系統確實在做感測器層級與時間序列的融合,但仍保留模組化設計,方便注入明確的規則。

21 1:48:47
紅綠燈:工程規則 vs 學出來的行為

他用紅綠燈當例子說明兩種做法怎麼分工:偵測燈號顏色本身是電腦視覺的拿手好戲,但「紅燈要停」這種語意是清楚的工程規則,直接寫進系統就好;至於其他用路人實際上會不會真的停下來,才是要靠機器學習判斷行為模式的地方。

22 1:50:49
從 Grand Challenge 到 transformer

他說團隊一直都在用機器學習:Grand Challenge 時期 Stanford 隊就用光達看得準的路面去訓練模型,把可行駛範圍延伸到只有攝影機看得到的距離;Google 約在 2010、2011 年開始大量投入深度網路;現在也把語言模型(transformer、GPT-3)的突破用在行為預測與決策規劃,因為駕駛軌跡和句子一樣有序列結構,也受整體情境影響。

23 1:54:12
行人與自行車的安全優先

他強調保護行人與自行車騎士等無防護道路使用者是最高優先事項之一,尤其車輛行經學校周邊接送小孩時格外謹慎;即使對方沒有 Twitter 帳號,團隊一樣認真看待他們的安全。

24 1:57:01
深夜偵測與真實驚險事件

光達在完全黑暗中一樣看得清楚,能在車頭燈照不到的地方提前偵測到行人;他舉了一次真實案例:在 Phoenix 一條時速 45 英里的道路上,人行道上的自行車騎士突然跌倒摔進車道,當時車上是測試駕駛在開,他即時轉向並煞停;事後模擬顯示自駕系統會做出一樣的反應。

25 2:00:57
電車難題與防禦性駕駛的實務答案

Lex 認為電車難題在實務工程上比較像干擾而非真問題,Dolgov 同意,並解釋系統設計上會對碰撞機率與嚴重程度做機率推理,但真正該做的是靠防禦性駕駛,從一開始就避免把自己逼進那種兩難局面。

26 2:05:26
三本書:Bulgakov、Strugatsky 兄弟、Orwell

他選了《大師與瑪格麗特》(Mikhail Bulgakov)、Strugatsky 兄弟的科幻小說(如《路邊野餐》《神難當》《星期一從星期六開始》),以及 Orwell 的《一九八四》;他也提到自己只讀過俄文原版,好奇翻譯是否能保留原作的語言與文化韻味。

27 2:16:49
人生意義:艾西莫夫的《最後一個問題》

他先半開玩笑地引用 Isaac Asimov 短篇小說《The Last Question》裡電腦最終靠重演大爆炸來回答「宇宙熵能不能被逆轉」;接著正式回答時,他認為人生意義會隨階段改變——從體驗新事物、到單純的樂趣、再到學習與理解的喜悅、最後想把所學回饋社會,理想上這些應該是疊加而非取代彼此。