← 回到天際線 思考機器第 13 層 / 102

EP 732020-02-201:29:10

從教書到把 AI 帶進工廠

Andrew Ng

吳恩達談從史丹佛教書、創辦 Coursera 到帶 AI 落地傳統產業的歷程,也聊他怎麼看規模、資料品質與 AGI。

Andrew Ng: Deep Learning, Education, and Real-World AI | Lex Fridman Podcast #73在 YouTube 看 ↗

重點6 條

  1. 教學裡「以學生為本」是他堅持的原則:史丹佛的機器學習課一年約四百名學生,他發現自己年年在重錄同一支影片、講同一批笑話,索性把去年的影片直接拿來用,把省下的時間拿去多陪學生;這個把「什麼對學生最好」放在第一位的習慣,後來變成他推出第一批 MOOC 與創辦 Coursera 的核心原則。
  2. 早期對深度學習的判斷有對有錯:他坦言早期太看重非監督式學習,這個判斷部分來自 Geoffrey Hinton 用餐巾紙估算人一生要學進多少資訊;真正賭對的是「規模有用」,促成這個判斷的是 Adam Coates 一張顯示「模型愈大、表現愈好」的圖表,也是後來 Google Brain 成立的關鍵。
  3. 深度學習課程刻意不設微積分門檻:deeplearning.ai 的專項課程不要求微積分,高中數學跟基本程式能力就夠。
  4. AI Fund 也會主動放棄「賺錢但沒意義」的點子:他提到曾評估過一個能讓使用者多看某類影片的構想,商業與營收都說得過去,但他判斷那不算教育、對人沒有實質幫助,最後放棄。
  5. 企業導入 AI 要從小案子開始:他以自己在 Google 的經驗為例——先從語音團隊做起,證明有效之後才輪到地圖團隊,最後才跟廣告團隊認真談,一步步建立信任。
  6. 比起 AGI 的存在風險,他更擔心眼前的問題:偏見、因資料集中而加劇的貧富差距、深偽技術被濫用,他認為這些才是現在真正該處理的問題;AGI 何時出現他也說不準,可能是一百年、五百年,也可能是五千年。

時間軸24 段

01 02:07
開場:早年怎麼愛上寫程式

Ng 回憶在香港、新加坡長大,五六歲就用 BASIC 抄書上的程式來玩簡單的射擊遊戲;當醫生的父親在讀專家系統與類神經網路的書,也讓他跟著讀。在新加坡打工實習大量影印文件、最愛用碎紙機的經驗,讓他從那時就想著怎麼用軟體把重複的事自動化。

02 04:14
從重錄影片到辦線上課

他一年教約四百名學生,發現自己年年重錄同一支影片、講同一批笑話,索性把去年的影片直接拿來用,省下的時間拿去多陪學生。第一批 MOOC 開課時已有十萬人報名、影片卻還沒拍,很多影片是在晚上 10 點到凌晨 3 點之間錄的,週末跟朋友吃完晚餐就回辦公室錄影。把「什麼對學生最好」放第一位的原則,後來延續到創辦 Coursera 上。

03 09:14
Coursera 之前的失敗實驗

在 Coursera 之前他們做過四五版網站,其中一版能讓兩個人各自登入、在同一台電腦前一起看課並一起拿到學分;在舊金山一所高中試用,結果零人使用——學生上網學習是想自己抓進度,不想跟人一起看。他說這只是許多小教訓之一。

04 11:34
AI 會不會像識字一樣普及

他覺得將來 AI 開發者很可能超過所有開發者的一半,甚至接近全部;就像多數人都識字,將來多數人也可能會寫一點程式。就連經營小店面的老闆,懂一點資料分析帶來的價值,可能比學傳統軟體工程還大,資料科學也許是更容易的入門路。

05 16:08
為什麼上課愛用白板

他認為講數學概念時,用白板或觸控筆能一邊講一邊把式子一塊塊堆出來;手寫的缺點是慢、寫不了長句,但慢也有好處,會逼人把東西拆到最基本。Lex 補充:好的演講只講清楚幾個簡單的想法,白板恰好逼人做到這點。

06 17:44
Peter Abbeel 與直升機特技的艱辛

他回憶第一位博士生 Peter Abbeel 的論文題目是用強化學習讓直升機做特技飛行;團隊卡在直升機翻轉時 GPS 定位失效的問題上,試過雙 GPS、FPGA 解讀訊號都不成功,最後靠地面攝影機定位才解決,讓強化學習真正把直升機飛起來。

07 21:25
為什麼選擇做能落地的研究

他提到多年前遇到一位數學教授,對方說做研究是為了「發現宇宙的真理與美」;Ng 說他尊重這種動機,但自己更在意能不能看見一條清楚的路徑,讓研究真正幫到人。

08 23:15
早期對深度學習的判斷有對有錯

他坦言早期太看重非監督式學習——這個判斷部分來自大約 2005 年一次會後聊天,Geoffrey Hinton 用餐巾紙估算人一生要學進多少資訊,推論多數知識不可能靠監督式學習得來;真正賭對的是「規模有用」,促成這個判斷的是 Adam Coates 一張「模型愈大、表現愈好」的圖表,也是後來 Google Brain 成立的關鍵。

09 27:33
規模之爭與資料品質的現實問題

對於「該靠更大資料集還是更好架構」,他認為兩者都重要,要看問題本身離貝氏誤差率有多遠;他也認為 GPT-2 與 BERT 的突破有很大一部分來自規模。接著談到資料版本管理還很不成熟,並舉工廠檢驗員對同一個瑕疵前後判斷不一致的例子,說明小資料的標註品質問題有多棘手。

10 32:51
三個機構的分工

Lex 整理三個機構各自的定位:AI Fund 從零打造新創公司、Landing AI 協助既有企業導入 AI、deeplearning.ai 負責教育。

11 34:39
深度學習課程的門檻與除錯思維

他刻意把專項課程的數學門檻壓低到不需要微積分,高中數學與基本程式能力就夠。他把建構實務機器學習的思考框架比喻成學寫程式:語法之外,更重要的是會把程式碼串成有條理的東西、懂得抽象;機器學習的除錯方式也跟傳統軟體很不一樣,擅長的人可以快 10 倍甚至 100 倍。

12 40:21
最難的關卡與強化學習的角色

他認為深度學習難在概念一層疊一層,漏掉一個,後面就跟不上。他反問 Lex,Lex 認為深度強化學習最能讓學生開竅;Ng 則說自己教強化學習的時間愈縮愈短,因為真正部署上線的例子還不多。他也認為團隊不該只靠深度學習,該備好一整套工具,包含 PCA、機率圖模型與知識圖譜。

13 46:01
對非監督式學習的長期期待

他說要是只當學者、預算無限,他會把時間全花在非監督式學習上。他舉例把圖片隨機旋轉、讓模型猜原始方向,或把圖片切成九宮格讓模型還原順序,都是用無標籤資料生出訓練任務的自我監督做法;他認為自我監督學習只是非監督式學習的一塊,不是全部,但已經快要實用。

14 49:41
課程規劃與培養每天學習的習慣

深度學習專項課程官方長度約 16 週、可自己抓進度,有需要能申請助學金;他也談到自己把每週六、日固定排進讀書時間,讓學習變成不用天天重新決定的習慣,就像刷牙一樣。

15 53:08
手寫筆記為什麼記得更牢

他提到研究顯示手寫筆記因為速度較慢,反而逼人用自己的話重新消化內容,記憶效果比逐字打字更好;他自己上課(包括最近一堂臨床試驗的課)還是習慣帶筆記本手寫。

16 56:04
怎麼走一輩子的深度學習生涯

他建議先靠有效率的課程打基礎,再靠小專案累積經驗,不要一開始就想做改變世界的大專案;要不要讀博士看目標——有些事還是要博士,例如想當頂尖大學教授,若目標是做出好的技術成果,業界頂尖團隊也是好選項。

17 59:48
選工作真正該看的是共事的人

他認為公司招牌不是重點,真正決定體驗好壞的是每天共事的那十個、三十個人;他建議面試時直接問清楚未來的主管與同事是誰,對方不願意講,他會覺得是令人擔心的回答。

18 1:03:31
AI Fund:系統化孵化新創

他說創業對多數創業者來說是很孤單的事,AI Fund 想成為讓決策不再孤軍奮戰的支援系統;這個構想源自他在百度時同時要支援既有業務、也要孵化新事業線(例如自駕車團隊、比 Amazon 更早發表的智慧音箱)的經驗。他也提到 AI Fund 曾評估過一個能讓使用者多看某類影片的構想,商業與營收都說得過去,但他判斷那不算教育、對人沒有實質幫助,最後放棄。

19 1:11:10
Landing AI:把 AI 帶進傳統產業

他認為軟體網路業已經把 AI 用得不錯,真正的機會在製造業、農業、醫療這些還沒被翻新的產業;他引用麥肯錫估計的 13 兆美元與 PwC 估計的 16 兆美元,並以工廠視覺檢測為例,說明實務上遇到的問題(例如環境光線改變)跟論文裡的乾淨資料很不一樣。

20 1:14:19
企業導入 AI 該從小案子做起

他出版過一份「AI 轉型手冊」,建議公司從小案子開始。以 Google 為例:他先幫語音團隊做出更準的語音辨識,讓其他團隊開始相信深度學習;接著用電腦視覺讀 Google 地圖街景上的門牌號碼,最後才跟廣告團隊認真談——一步步建立起內部信任。

21 1:16:38
從筆電上的模型到真正落地的落差

他認為能在筆電上跑出來的模型,跟能在工廠這類場域穩定運作的系統之間有很大的落差;測試集與訓練集分布不一樣時,現有研究工具仍然不夠好用。他把機器學習比喻成「自動化的升級版」:自動化一項任務(例如視覺檢測)往往需要重新設計周邊的工作流程,不是只換掉那一小段程式碼。

22 1:20:45
對 AGI 的看法與存在風險

他說自己很希望看到 AGI 實現,但不確定要一百年、五百年還是五千年。他半開玩笑地說,自己也會擔心「火星人口過剩」——只是不是今天該擔心的事。Lex 問到價值對齊,他說自駕車真正常遇到的問題不是電車難題,而是路上橫著一輛大白卡車,明明該煞車,車子卻直接撞上去;他認為迴紋針問題這類討論,會分散掉眼前更難的問題。

23 1:23:56
比 AGI 更急迫的問題

他認為偏見、資料集中帶來的贏家全拿式貧富差距、失業轉職、深偽技術被濫用,才是現在真正該處理的問題;他也提到,監理機關找上門、修正會影響營收時,有些公司寧可聊「保證不會毀滅人類」——但前者才是眼前真正棘手的事。

24 1:26:03
遺憾與最驕傲的時刻

被問到有沒有後悔的事,他說常常是「早知道就好」的心情——讀到一本好書會想「要是創辦 Coursera 時讀到就好了」,但那本書當時根本還沒寫出來;被問到最驕傲的時刻,他先提到家人,再說「幫助別人朝夢想前進」也是他認為的人生意義所在。