主持人對談

046 · 2023 年度精選片段

19:10YouTube 上架 2024-01-11

No Priors Ep. 46 | Best of 2023 with Sarah Guo and Elad Gil

從 2023 年的訪談挑出八段：OpenAI 為什麼改成 cap profit、智慧該怎麼定義、AI 會不會取代工作、模型護欄該放在哪一層，最後是 NVIDIA 的兩套組織。

046 講了什麼

• OpenAI 為什麼改成 cap profitIlya Sutskever 說，要在 AI 上真正有進展需要大量算力，非營利架構蓋不起大型叢集。投資人的報酬有倍數上限，理由是 AGI 若強到能做人做的每件事，打造它的公司就不該有追求無限獲利的誘因。
• 智慧的定義太偏重通用性Mustafa Suleyman 說，Shane Legg 把智慧定義成「在大量問題上都表現好的能力」，給了 DeepMind 一把可以衡量進展的尺；但這讓整個領域過度押在「單一 agent 什麼都做」。Mustafa 認為還有另一種定義：依情境把運算能力導向環境裡關鍵的特徵。
• 居中調度的 router 才是關鍵Mustafa 說，真正解鎖這個領域的會是一個調度多個專門系統的 router，有些系統根本不像 AI，只是傳統軟體、資料庫或工具；這個決策中樞不一定要是最大的語言模型。
• AI 的影響要看長期Reid Hoffman 把 AI 形容成心智的蒸汽機，說大家常高估明年的變化、低估 10 到 20 年後的轉變。Reid 希望多看到人加 AI 的共生放大迴路，而不是只做自主系統。
• 機率模型與深度學習合流Daphne Koller 說領域像鐘擺，深度學習把機率圖模型推到一旁，現在又擺回來：既要深度學習的模式辨識，也要能推理因果、解釋模型為什麼這樣判斷。
• 護欄放在原始模型之外Arthur Mensch 主張原始模型應該什麼都懂，由應用開發者在輸入與輸出加上模組化的過濾；與其信任少數幾家公司自己顧安全，不如要求應用端遵守規則，讓護欄方案彼此競爭。

從哪一段開始看10 段

1. 00:05開場主持人說明這集是 2023 年幾場訪談的片段回顧，完整集數列在說明欄。
2. 00:38Ilya：從非營利到 cap profitIlya Sutskever 說最初想靠開源與非營利達成目標，後來發現算力需求太大，才轉成 cap profit。主持人先說明這段錄在董事會風波之前。
3. 03:14Alyssa Henry：小商家的行銷難題前 Square CEO 說，小商家知道該做行銷，但太花時間又不是專業；工具變得好用又便宜，打開了過去沒被滿足的需求。
4. 05:23Mustafa：Shane Legg 的智慧定義Mustafa Suleyman 回顧 Shane Legg 整理出的定義，那給了 DeepMind 一個能持續衡量進展的工程指標。
5. 06:45Mustafa：router 是關鍵Mustafa 說自己的看法已經改了：智慧也是把運算導向環境中關鍵特徵的能力，而解鎖這個領域的是調度各個專門系統的 router。
6. 08:50Reid Hoffman：心智的蒸汽機Reid 談工作被取代的風險與長期轉變，主張多做人加 AI 的共生放大迴路，這也是寫 Impromptu 的原因之一。
7. 11:41Daphne Koller：鐘擺回擺機率圖模型曾把 AI 帶向機器學習與數值資料，深度學習興起後被擠到一旁；現在需要兩邊的想法合在一起。
8. 13:17Noam Shazeer：文字比較密Noam 說自己一直埋頭做語言，因為文字的資訊密度遠高於圖像，很多核心智慧會來自文字模型。
9. 14:23Arthur Mensch：模組化護欄Mistral 提供原始模型，再配上可替換的輸入輸出過濾；安全責任交給應用端，讓護欄方案之間有市場競爭。
10. 17:06Jensen Huang：兩種工作方式Jensen 說 NVIDIA 一部分精準打造極複雜的電腦，另一部分是隨時轉向的 skunk works，去試十年後的東西。

值得記的話5 句

• Wouldn't be able to build a large cluster with a non-profit.Ilya Sutskever：用非營利架構蓋不起大型叢集01:40

• one of the things I use to describe it is like steam engine of the mind.Reid Hoffman：我常用來形容它的一個說法，是心智的蒸汽機09:05

• an image is worth a thousand words, but it's like a million pixels.Noam Shazeer：一張圖勝過千言萬語，但它大概有一百萬個像素13:48

• You need to make the assumption that the model should know everythingArthur Mensch：你得假設模型什麼都該知道15:46

• we're trying to invent things 10 years out that we're not exactly sure whether it's going to work or not.Jensen Huang：我們在試著發明十年後的東西，不確定行不行得通17:51

名詞與人物11 個

Ilya Sutskever

OpenAI 共同創辦人，片段談 OpenAI 從非營利改成 cap profit。

cap profit

投資人報酬有倍數上限的公司結構；Ilya 說就自己所知，OpenAI 是世上唯一一家。

Alyssa Henry

前 Square CEO，談 AI 怎麼幫小商家處理不擅長的那部分生意。

Mustafa Suleyman

DeepMind 共同創辦人，現為 Inflection AI 共同創辦人兼 CEO。

Shane Legg

Mustafa 說 AGI 的想法與用語主要是 Shane 推動的，博士研究跟 Marcus Hutter 做智慧的定義。

router

Mustafa 所說的決策中樞，調度多個專門系統，不一定是最大的語言模型。

Reid Hoffman

把 AI 比作心智的蒸汽機，片段裡提到自己的書 Impromptu。

Daphne Koller

來自 Insitro，片段談機率圖模型與深度學習的關係。

Noam Shazeer

Character.AI 共同創辦人兼 CEO，之前是 Google 工程師。

Arthur Mensch

Mistral 共同創辦人兼 CEO，主張模組化護欄，讓 AI 保持開放。

Jensen Huang

NVIDIA 共同創辦人兼 CEO，談公司的兩種工作方式。

提到但沒有展開

• Mustafa 說 Shane Legg 的博士論文大約整理了 80 種智慧的定義，再合成一個說法：智慧是在大量問題上表現好的能力。
• Reid 說每一種新技術一開始都有末日論者，舉印刷術為例，當年被說成會削弱人的認知、散播錯誤資訊。
• Reid 認為自駕車是不需要放大迴路的例子：那裡要的是有效率的物流與安全，省下現在人類駕駛造成的 40,000 起死亡。

在 YouTube 看原片 ↗