主持人對談

095 · 2024 年度精選：七段訪談片段

27:07YouTube 上架 2024-12-26

No Priors Ep. 95 | Best of 2024

2024 年底的精選集，剪進 Jensen Huang、Karpathy、Bret Taylor、Sora 團隊、Waymo、Figma 與 Scale 的片段，從資料中心、小模型、品牌 agent 一路談到 AGI 的路徑。

095 講了什麼

• 資料中心才是運算單位Jensen Huang 說 NVIDIA 把整座資料中心蓋出來，因為軟體要在完整系統上跑過才知道行不行。NVIDIA 垂直整合、全端最佳化，再拆開零件賣，好讓 CUDA 在各家雲端都能跑。
• AI 外腦的擁有權Karpathy 把 AI 比作 exocortex，談到封閉平台寡占、開源落後的現況，以及租用外腦是否合理。Karpathy 也認為模型可以小得出人意料，只留下會思考、會用工具的 cognitive core。
• 品牌 agent 取代網站Bret Taylor 的比喻是，1995 年在網路上存在代表有網站，2025 年代表有自己品牌的 AI agent；也認為客服這類場景用現有技術就能動工。
• Sora 與世界模型Sora 團隊成員說，模型只看影片就學到 3D、咬一口漢堡會留下咬痕。他們相信把資料預測做好，比設計複雜任務更能隨規模進步。
• 自駕難在最後的 ninesWaymo 的 Dmitri Dolgov 說原型很容易做，難的是長尾裡很多個 9。Dylan Field 則認為 AI 時代的介面不會只剩聊天，新舊形式會並存。
• AGI 是一項一項解Alexandr Wang 認為通往 AGI 的路比較像治癒癌症，要逐個問題解決；就 Alexandr 的理解，不同模態之間沒有正向遷移。

從哪一段開始看14 段

1. 00:02開場與 Jensen Huang主持人說明這集是 2024 年精選，先放 Jensen Huang 的片段。Jensen Huang 說 NVIDIA 把整座資料中心蓋出來，並稱新的運算單位是資料中心。
2. 02:27整合再拆開賣Jensen Huang 說 NVIDIA 垂直整合、全端最佳化，再把一切拆開賣，目的是接進 GCP、AWS、Azure、OCI，讓 CUDA 到處都能跑。
3. 03:59exocortex 與擁有權主持人介紹 Karpathy。兩人談少數封閉平台寡占、開源落後，以及外腦若由公司控制，人會更在意擁有權；預設用封閉模型、開源當備援。
4. 06:03最小的好模型主持人問最小能小到哪裡。Karpathy 說現在的模型浪費很多容量記不重要的東西，cognitive core 只負責思考，要資料時再用工具查，也提到 distillation 效果出奇地好。
5. 07:19公司 agent 取代網站Bret Taylor 把 1995 年的網站類比到 2025 年的品牌 AI agent，認為這個領域用現有技術就能動手。
6. 09:23Sierra 的實際例子Bret Taylor 舉 Sonos 與 SiriusXM 的客服 agent 為例，並預期三四年後 agent 會涵蓋公司做的所有事，例子是保險公司。
7. 11:14Sora 學到的世界主持人介紹 Sora 團隊。團隊成員說模型沒被教過 3D 卻從影片學會，並認為對世界的理解會讓模型整體更聰明。
8. 13:21人與世界模型主持人拿人類不精確的世界模型和物理引擎相比。團隊成員說人類的長期預測不夠精準，Sora 有機會在這方面超越。
9. 14:38預測資料就好團隊成員引用 bitter lesson，說隨規模進步最好的方法是單純預測資料，文字如此，Sora 對視覺資料也是如此。
10. 15:56自駕的 nines主持人介紹 Waymo 共同執行長 Dmitri Dolgov，提到 Waymo 每週完成超過 100,000 趟全自動駕駛。Dmitri 說 2009 年大約十幾個人、花了約 18 個月，就跑完 10 條各 100 英里、全程不介入的路線，起步一向容易，難處在長尾的許多個 9；現有大模型微調後能上路，但離拿掉駕駛還有距離。
11. 18:50介面不會只剩聊天主持人介紹 Dylan Field。Dylan Field 說新媒體出現不會讓舊的消失，即使聊天成為新的互動方式，UI 和軟體反而可能更多。
12. 21:24語音與智慧相機Dylan Field 不想用語音或 Minority Report 式的方式瀏覽資訊，認為新的互動方式各有位置；比較看好的是智慧相機，因為視覺的東西很難用語言描述。
13. 23:27像治癌的 AGI 之路主持人介紹 Scale 執行長 Alexandr Wang。Alexandr 認為 AGI 要像治癌一樣逐項解決，過程是漫長的小問題，也意味社會有時間適應。
14. 25:32模型的泛化有限Alexandr Wang 說模型的泛化很有限，不同模態間沒有正向遷移，每個能力領域都需要自己的 data flywheel；對「影片能當世界模型基礎」的說法也持保留。

值得記的話5 句

• I say that the new unit of computing is the data centerJensen Huang：我說新的運算單位是資料中心01:39

• I think the cognitive core can be extremely smallKarpathy：我認為 cognitive core 可以非常小06:33

• existing digitally will probably mean having a branded AI agentBret Taylor：在 2025 年，存在於數位世界大概意味著擁有一個品牌 AI agent07:50

• the complexity is in long tail of the many many many ninesDmitri：複雜度在於長尾裡的許多個 917:14

• you have to then zoom into each individual cancer and solve them independentlyAlexandr Wang：要放大到每一種癌症，各自解決24:12

名詞與人物10 個

Jensen Huang

NVIDIA 執行長，第一段片段的來賓。

Andrej Karpathy

曾任職 OpenAI 與 Tesla，片段中談 AI 作為 exocortex 與小模型。

exocortex

把 AI 視為人類認知的延伸，片段由此談到擁有權與租用。

cognitive core

Karpathy 設想的模型核心：只負責思考，需要資訊時靠工具查。

distillation

用一個大模型或大量算力去監督一個很小的模型。

Bret Taylor

OpenAI 董事會成員、Sierra 創辦人。

company agents

公司對外、帶品牌的對話式 agent，可處理產品諮詢、交易與客服。

Sora

OpenAI 的影片生成模型，團隊把它視為一種世界模型。

number of nines

Dmitri Dolgov 用來形容自駕可靠度要拉到的 9 的個數。

data flywheel

Alexandr Wang 說每個能力領域都需要各自的資料循環來推進。

提到但沒有展開

• Dmitri 提到，現在可以拿現成的 VLM 微調，把輸出從文字換成軌跡，上路表現就很驚人，但是否足以拿掉駕駛、跑上數百萬英里並有明確優於人類的安全紀錄，是另一回事。
• Jensen Huang 說 NVIDIA 內部有五台超級電腦，明年至少再蓋五台，理由是認真做軟體就得自己蓋整台電腦。
• Bret Taylor 認為以後回頭看今天的 agent，會像回看 1995 年的網站一樣覺得古樸：當年的網站不是只放一支電話，就是像 DVD 開場畫面。

在 YouTube 看原片 ↗