← 回到天際線 思考機器第 32 層 / 102

EP 1202020-08-312:34:20 ROUND 2

智能是效率,不是你會什麼

François Chollet

Chollet 主張智能是習得新技能的效率,不是你已經會什麼,並用這套定義撐起 ARC 挑戰的設計邏輯。

François Chollet: Measures of Intelligence | Lex Fridman Podcast #120在 YouTube 看 ↗

重點6 條

  1. 智能是效率,不是技能本身:Chollet 把智能定義成「面對沒準備過的新任務時,習得新技能的效率」,而不是你已經會什麼;他用「造路公司」跟「一條路」的比喻說明,寫程式的人聰明,寫出來的程式不見得聰明。
  2. GPT-3 很會裝懂,但沒有理解:他認為 GPT-3 能生出讀起來合理的文字,但那些文字只受「合理」這個目標約束,不受事實或前後一致約束,很容易被對抗性提問問出前後矛盾的答案;真正卡住規模化的是訓練資料,不是模型大小或運算量。
  3. 測智能要先講清楚先驗知識:要比較人類和機器,或是設計給機器的智能測驗,他認為第一步是把測試者已經知道的東西(先驗)攤開來講清楚,否則測到的只是誰練習得多,不是誰學得快;這也是 ARC 跟一般 IQ 測驗最大的不同。
  4. ARC 挑戰只用嬰兒等級的知識出題:他根據 Elizabeth Spelke 的核心知識理論,把 ARC 的每一題都限制在物件、施動者、幾何、數量這四種天生的知識,不准夾帶語言或文化知識,Kaggle 上的最佳成績至今卡在約兩成,還沒有人找到系統性的捷徑。
  5. 不看好 Neuralink 和圖靈測試:他認為腦機介面想解決的頻寬瓶頸根本不是瓶頸,大腦本身處理速度就很慢;圖靈測試則是把「什麼是智能」外包給不可靠的人類評審,容易鼓勵騙術而不是真正的科學進展。
  6. 不再相信「認知就是壓縮」:他以前很喜歡這個想法,後來想通了:認知的重點是替不可預期的未來留餘裕,壓縮卻是把過去講得越短越好,兩者方向根本相反。

時間軸24 段

01 04:52
開場提問:哲學啟蒙

Lex 問成長路上影響他的思想家,Chollet 提到青少年時讀的 Piaget(強調智能是逐階段建構出來的)與神經科學家 Jeff Hawkins 的《On Intelligence》(心智是多尺度的時序預測階層),兩者都形塑了他後來想「心智如何發展」的方式。

02 09:41
語言是心智的作業系統

他不同意 Chomsky 把語言當成認知的最底層,主張語言只是心智最外層的一層「作業系統」,嬰兒在會講話之前,是先用視覺、空間與動作在思考。

03 15:33
心智圖與拓樸思考

他偏好用心智圖整理想法,因為那比較像一張沒有固定起點的地鐵圖(拓樸空間),而不是嚴格的樹狀階層;他也點出深度學習其實一直在處理幾何空間(有距離、可微分),而不是拓樸空間。

04 23:37
智能的定義

進入論文《On the Measure of Intelligence》(2019 年 11 月發表):他把智能定義成「面對沒準備過的新任務時,習得新技能的效率」,並強調要把「智能」這個過程跟「技能」這個產出分開——就像造路公司跟一條特定的路是兩回事。

05 34:47
兩種心智觀的歷史

論文的目的是釐清 AI 圈對智能的誤解:一種是早期 AI(如 Minsky)把心智看成一堆寫死的靜態程式;另一種是深度學習圈把心智看成一開始空白、靠訓練資料填滿的海綿。

06 43:18
GPT-3:似真非真

他認為 GPT-3 很可能只是在對訓練資料做模式比對,不是真的在推理;它只被「聽起來合理」約束,不受事實或前後一致性限制,用對抗性的問法就能問出自相矛盾的答案。他也指出真正卡住這類模型繼續變大的是訓練資料的量,不是運算力或模型大小——他拿自己在 Google 用 1.5 億張雜訊標籤圖片訓練模型的經驗為例,資料品質勝過資料量。

07 53:04
語意網的夢碎

他不看好語意網(semantic web)能實現,因為把網路資訊結構化需要大量人力、卻沒有人有誘因去做;反而是 GPT-3 這種不需要標註的無監督深度學習,某種程度上更接近「讓機器讀懂網路知識」這個語意網當年的夢想,只是它學到的還不是真正的推理。

08 57:15
自駕車的天花板

談到 Tesla 的自駕路線,他認為 L4 可能做得到,L5(完全不用人介入)很難,因為要窮舉真實世界所有邊緣案例需要的訓練資料量太大;他主張把深度學習用在感知、搭配明確寫死的環境模型,會比純粹端到端的深度學習更快更好地泛化。

09 1:00:59
換新環境才是真考驗

他用「在矽谷學會開車,換到東京租車」的例子說明:真正的智能考驗不是能不能開車,而是換到改靠另一側行駛、標誌不同、路更窄的新環境時,能不能不靠大量新資料就上手;如果系統需要窮舉所有可能情境的資料才能適應,那它就只是一張查表,不是智能。

10 1:09:31
測智能要控制先驗知識

要公平比較人類與機器的智能,得先控制兩者的「先驗知識」(天生具備的知識)與「經驗」(訓練資料)是不是同一組;他舉例:機器可以靠海量自我對弈練出圍棋高手等級的表現,但那跟人類在有限時間、有限資源下學會圍棋不是同一回事,不能直接比較。

11 1:13:58
心理計量與 g 因子

他介紹心理計量學設計測驗的原則(可信度、效度、標準化、免於偏誤),並解釋「g 因子」:在大量受試者身上跑各種不同的智力測驗,會發現成績彼此高度相關,這個共同的統計變數就是 g 因子,但它是統計構念,不是可以直接量到的東西。

12 1:20:19
認知能力像體能

他用「體能」類比認知能力的結構(CHC 理論:g 因子在最上層,往下是廣泛能力、再往下是特定技能);就像體能再好也不能飛、不能在海底生存,人類的認知能力雖然遠比演化當初需要的更通用,但終究不是萬能的。

13 1:27:33
什麼讓題目變難

他認為題目的難度不是天生的,而是相對於受試者已經知道、練習過什麼;真正難的考題會逼你臨場改編,不是單純內插你已經看過的範例。Lex 提到設計高難度 IQ 題的人會嚴格保護答案,因為知道解法題目就毀了;Chollet 回應,解法其實就藏在示範題裡,所以 ARC 才要保留不公開的測試集。

14 1:35:52
幫測驗把先驗講清楚

要幫機器設計一套智能測驗,第一步是把預期需要的先驗知識講清楚(並假設是人類的先驗),第二步是確保每一題考的是「習得新技能的效率」而不是「技能本身」,題目必須是連受測系統的開發者都無法事先預料、窮舉的。

15 1:38:10
四種核心知識先驗

他引用哈佛心理學家 Elizabeth Spelke 的「核心知識」理論:人類天生(或極早期)就具備物件性與基礎物理(會碰撞、會遮擋)、施動者(會追求目標的東西)、基礎幾何與拓樸、以及數量比較這四種知識系統,這些就是 ARC 出題時唯一允許用到的先驗。

16 1:44:40
ARC 挑戰是什麼

ARC 的格式很像瑞文氏圖形推理測驗:每題給幾組輸入輸出的彩色網格當示範,再給一個新輸入要你推出輸出;跟一般 IQ 測驗最大的不同是,它明講只能用上一段那四種核心知識作答,不能靠語言或文化知識。他也提到設計 ARC 題目逼著他把自己對「抽象化」這件事的想法講清楚。

17 1:51:31
群眾外包與隱藏測試集

他打算把出題開放給更多人群眾外包,並和紐約大學心理系合作,拿 ARC 去對人類受試者做測試;測試集必須有一部分完全不公開,否則工程師會直接把解法寫死進程式,測到的就不是智能本身,而是工程師的智能。

18 1:56:49
Kaggle 卡關

ARC 辦過 Kaggle 競賽,兩週內就有非零成績,但目前最佳成績卡在大約兩成的題目解出來,還沒有人找到能一次破解大量題目的系統性捷徑——這證明了題目本身夠難,同時也證明它不是完全打不進去的死題。

19 1:59:14
泛化的三個層級

他把泛化能力分成幾個層級:最低是「穩健性」(適應開發者早就預料到的變化)、中間是「彈性」(單一領域內應付開發者也沒想到的邊緣案例,例如自駕車)、最高是「極端泛化」(同一套系統能跨到完全不同的領域,例如學做菜的機器人自己學會園藝)。

20 2:04:50
看衰腦機介面

他對 Neuralink 這類腦機介面持保留態度,因為他認為頻寬從來不是人類認知的瓶頸——人腦本身處理速度就很慢,最快的神經活動也要 50 毫秒。Lex 舉維基百科反駁,說有了它之後人類聰明多了;Chollet 回應,那是把智能外部化,跟腦機介面是兩回事。他認為增強智能本身很有價值,整個文化就是外部化的認知。

21 2:09:54
圖靈測試的兩個問題

他不喜歡圖靈測試(及其變體如 Loebner Prize),理由有二:一是把「定義並測量智能」整個外包給不見得可靠的人類評審;二是它創造的誘因是騙過評審,而不是真正做出科學進展,就像魔術表演能騙過觀眾,卻沒有推進物理學一分一毫。Lex 則反駁,人類的主觀互動本身可能就是逼出泛化能力的好方法。

22 2:18:47
可以互動的 ARC

他說自己一開始想讓 ARC 可以互動:分數不是「解出/沒解出」,而是試幾次才解出,這樣作答的人能提假設、再驗證,等於走一遍科學方法,也能出更模糊的題目,衡量的是在程式空間裡降低不確定性的效率;但他也說實務上很難做到。

23 2:20:34
認知是壓縮的破產

談到 Marcus Hutter 設立的 Hutter Prize,把壓縮英文維基百科當智能測驗;Chollet 說他以前很相信「認知就是壓縮」,後來想通了:認知的重點是替不可預期的未來留餘裕,壓縮卻是把過去講得越短越好,兩者方向根本相反。

24 2:28:17
生命的意義

節目最後問生命的意義,他的答案是:連你最私人的想法,用的字詞、概念都不是你自己發明的,都是文化的迴聲;如果你能替文化貢獻一點新東西,那個東西會活在未來人類的心智裡,這是我們能得到的某種不朽,也是他理解的生命意義。