Ilya 談規模與可靠度 · No Priors 筆記

039 · Ilya 談規模與可靠度

41:58YouTube 上架 2023-11-02Ilya Sutskever（OpenAI）

No Priors Ep. 39 | With OpenAI Co-Founder & Chief Scientist Ilya Sutskever

Ilya Sutskever 談 AlexNet 的賭注、OpenAI 為何轉向 cap profit、可靠度為什麼是瓶頸，以及現在就做 super alignment 的理由。

039 講了什麼

AlexNet 靠三件事湊在一起Ilya 說一是 GPU 剛開始用在機器學習，二是自己看出當時的神經網路不好用是因為太小，三是技術上的領悟：夠大的訓練集，加上真的把大網路訓練起來的 know-how，當時多數做機器學習的人都沒有。另一個幸運是合作的 Alex Krizhevsky，可能是最早真正精通高效能 GPU 程式的人之一。
目標沒變，做法變了Ilya 說 OpenAI 的目標一開始就是讓 AGI 造福全人類，變的是手段。原本想靠開源、當非營利組織，後來發現要大量 compute，才改成 cap profit，投資人的回報有上限。
從發表論文轉向大型專案Ilya 說早期的機器學習偏學術，目標是發現小知識、發論文。OpenAI 先做了 Dota 2 專案，覺得網路還太小、領域太窄，後來走到用 transformer 預測文字，一路做到 GPT-3。
可靠度是最大的瓶頸Ilya 認為換成小模型時，掉的主要是可靠度。問了 20 題都答對，不希望第 21 題出大錯；如果是重大決定，模型沒辦法每次都對，使用者就得自己再驗證。
大小模型各有用途Ilya 說要特定應用的人都會想用最小而夠用的模型，但模型變大變好之後會解鎖新的高價值應用，例如法律建議。開源在現階段有需求，能力更高之後就沒那麼單純。
super alignment 是現在就要做的科學Ilya 設想 5 到 10 年後可能出現比人聰明得多的資料中心，最低限度是希望它們對人類懷有溫暖正面的感受，所以現在就要開始建立相關的科學。至於 scaling，Ilya 說近期的限制顯然是資料，但可以克服。

從哪一段開始看17 段

00:06深度學習的黑暗時期Sarah 介紹這集與 Elad 一起訪問 Ilya。Ilya 回顧 AlexNet 之前沒人對神經網路抱希望，各派學者各有主張，做神經網路的人被邊緣化，自己卻覺得那是一個個小腦袋。
01:58AlexNet 為何做得成Ilya 列出幾個條件：GPU 剛開始被用在機器學習、當時的網路太小、觀察大腦後相信更大的網路能做沒人做過的事。
04:17訓練集與技術 know-how大訓練集加上能找到網路的演算法，訓練幾乎像在解一組方程式。Ilya 說光有想法不夠，還要有技術能力，Alex Krizhevsky 把 GPU 程式寫得很好。
07:24OpenAI 的目標與結構目標從沒變，變的是手段。從開源、非營利走到 cap profit，因為需要大量 compute，非營利蓋不起大叢集。理由是 AGI 若能做人做的每一件事，做出它的公司不該有賺取無限利潤的誘因；Ilya 也說 AI 有競爭，會讓這套論證出現沒預料到的變化。
10:03研究方向怎麼演進早期偏學術，Ilya 發現這條路不適合追求 AGI。Dota 2 是第一個大專案，之後轉向 transformer，從 GPT-1 做到 GPT-3。
13:39最讓人意外的事主持人問 emergent behavior 裡最意外的是什麼。Ilya 說是整件事居然行得通，以及跟模型說話時會覺得被理解。
15:13怎麼挑大專案Ilya 說自上而下的想法和自下而上的探索並用。繼續放大 transformer 還會變好，不同能力進步的幅度也不一樣。
17:03接下來會進步什麼Ilya 請大家看 GPT-3 到 GPT-4 with vision 的差距：模型會更可靠、能做更多任務，也有更深的洞察。
18:22小模型與可靠度主持人提到推論成本讓產品傾向小模型。Ilya 認為小模型掉的是可靠度，並以問答、財務文件分析和自駕車來說明這個定義。
20:38大小模型的生態做特定應用的人會想用最小的可用模型；更大的模型則解鎖法律建議這類值得付成本的應用。7B 這類規模的研究不算白費。
22:23開源的角色近期有人想自己決定模型怎麼用，所以有需求。Ilya 說等到模型能自主做科學、甚至自主創辦大型科技公司，這種能力的模型該不該開源，就沒有現在那麼單純。
26:19scaling 的近期限制Ilya 說最近的限制顯然是資料，需要研究，但資料限制可以克服，進展會繼續。
27:21transformer 夠不夠Ilya 認為要問的是成本與運算效率，不是能不能到。接著用幼童切除半邊大腦、把雪貂視神經接到聽覺皮質的實驗（Ilya 說也可能是反過來接），說明皮質高度一致。
30:45何時算數位生命Ilya 說要等系統可靠到足以自主。也主張科技已經有繁殖功能（靠人類複製上一代的想法），缺的是自主，自主繁殖的 AI 會很嚇人。
33:05super alignment主持人請 Ilya 定義 super alignment。Ilya 設想 5 到 10 年後有比人更聰明的資料中心，最低限度要對人類有善意，所以要現在就開始做科學。
36:43親人類的 AI 有多可能Ilya 說做得到、但不保證。看過一年比一年強的 AI 之後，大家對親人類超級智慧的需求會變強。
39:03加速還是減速Ilya 說成本與規模、有限的資料是減速力，但資料不會成為問題；投資、工程師與科學家的興趣、生物演化已經做到這件事、AI 研究容易上手，則是加速力。工程複雜度也可能讓進展慢下來。

值得記的話5 句

The goal did not evolve over time. The tactic evolved over time.目標沒有隨時間改變，改變的是手段07:24
if I had to pick one, it would be the fact that when I speak to it, I feel understood.如果只能選一個，那就是：我跟它說話的時候，覺得自己被理解了14:42
it is reliability that's the biggest bottleneck to these models being truly useful.可靠度才是這些模型真正有用的最大瓶頸18:52
Without going into the details, I'll just say that the data limit can be overcome我不談細節，只說資料的限制可以克服26:35
we want those data centers to hold warm and positive feelings towards people, towards humanity.我們希望那些資料中心對人、對人類抱著溫暖正面的感受34:51

名詞與人物9 個

Ilya Sutskever: OpenAI 共同創辦人兼 chief scientist，AlexNet 作者之一。
AlexNet: Ilya 與 Alex Krizhevsky 用兩個 GPU 訓練出的大型卷積神經網路，被視為轉折點。
Alex Krizhevsky: 與 Ilya 合作的人，很早就精通寫高效能的 GPU 程式。
cap profit: OpenAI 的結構：投資人的回報有倍數上限，Ilya 說據自己所知是世上唯一一家。
Dota 2 project: OpenAI 第一個大型專案，由 Jakub Pachocki 與 Greg Brockman 帶頭，訓練網路玩即時戰略遊戲。
transformer: OpenAI 從 GPT-1 開始採用的架構；Ilya 說現在大家都在做的公式，就是用更多資料訓練更大的 transformer。
reliability: Ilya 定義的可靠度：問題不比其他題更難時，模型能穩定答對，使用者不必每次驗證。
digital life: 主持人提出的問題，Ilya 認為系統夠自主、夠可靠才會更像人工生命。
super alignment: OpenAI 的專案，目標是現在就建立科學，讓未來的超級智慧對人類友善。

提到但沒有展開

Ilya 說 super alignment 目前投入的人還不多，AI 已經強到可以有成效地研究，並預告很快會分享令人興奮的研究。
Ilya 認為什麼程度的模型不該開源，這條界線本身就是急迫的研究題目；有一點幫得上忙：閉源模型比開源強，可以先研究閉源的那一代，等開源追上時心裡就有底。

在 YouTube 看原片 ↗

OpenAI