George Hotz 談算力為什麼不能集中

從「時間存不存在」聊到有沒有客觀現實，George 認為重點不是存不存在，而是這個模型有沒有用；也聊到自己會不會被一個更好的語言模型版本取代。

他認為單靠壓縮式的損失函數學不出真正的通用智慧，還需要在複雜環境裡做強化學習；也用「mid」這個詞嘲諷 ChatGPT 寫出來的饒舌歌詞。

他同意 Eliezer Yudkowsky 的悲觀結論，但理由不同：核武因為太難精準運用才沒被按下去，AI 的「小紅按鈕」卻很容易被按；沉迷娛樂到忘記生育，可能才是最溫和的滅絕劇本。

就算文明重新開始，懂技術的人也能重建；但機器人做不到這件事，因為所有生物都能在沒有維修站的情況下繁衍，機器不行。矽晶片的進步速度遠比生物快，但自我複製這件事還在很早期的階段。

他坦承很想活在虛擬世界裡，覺得現在的頭戴裝置離「以假亂真」還很遠，但音訊已經做到能讓人閉眼以為自己真的在叢林裡。

George 說自己都不確定有沒有意識，更別說語言模型；他形容意識像是拿麥克筆在石頭上畫笑臉，人類太想相信某個東西有感情了。

他半認真地說第三間公司要做 AI 女友，理由是很多人已經把聊天機器人擬人化到願意跟它談戀愛；也聊到一對多的伴侶關係會不會因此變得合理。

TinyGrad 原本只是他自學卷積運算的玩具專案，後來他擔心 Nvidia 壟斷 AI 運算力甚至可能被國有化，才決定認真做成一家公司；他也引用 Jim Keller 對 CPU、GPU、DSP 三種計算典範的分類，說明神經網路運算其實最接近「只有加乘」的 DSP 模式。

他把神經網路運算收斂成一元、二元、化約、搬移四種基本操作，連矩陣乘法都不是內建指令，比其他框架的指令集精簡一個數量級，設計哲學像是運算界的 RISC。

他認為晶片新創失敗不是硬體不夠好，是寫不出堪用的 PyTorch 移植層；他也吐槽自己在 AMD 顯卡上跑迴圈測試就讓核心當機，直接寫信給執行長 Lisa Su 反映。

一萬五千美元、六張顯卡、上百 GB 顯存，插一般家用插座就能跑；散熱刻意做大機身讓風扇轉速降下來，把噪音壓到 40 到 45 分貝。

真正的問題是學出「人類會不會想介入」而不是單純模仿人類操作；他們正在用類似 GPT 的方式訓練會自我修正的駕駛模擬器，再用強化學習逼近好司機的判斷。

他認為現在覺得語言模型很厲害，就像當年覺得會下棋的電腦很厲害一樣，二十年後回頭看可能會覺得沒什麼；他也不想要會生出「接近正確」程式碼的工具，因為那種程式碼最難除錯。

他認為誰先做出一個會標明資料來源的語言模型搜尋引擎，就會取代 Google；他更看好 Meta 而不是 Google，理由是 Zuckerberg 還活著，Google 已經死了。

他批評 AI 安全圈嘴上講風險，卻在打造他們自己害怕的那種「集中控制」模型；他主張把智慧開放給所有人，因為好人在數量與能力上都超過壞人。

他認為過去二十年被少數科技與政府勢力接管的網路，原本是個更美好的地方；也提到加密貨幣本來該扛著「去中心化」的精神，卻被貪婪毀掉。

他認為推薦演算法最容易放大的情緒是憤怒，Twitter 開源演算法讓大家能親眼看到這件事；解法不是審查，而是讓使用者能自己選擇想看什麼。

他刪過第一個十萬粉絲帳號，因為發現看別人的 Twitter 頁面只會讓他更討厭對方；這次去 Twitter 短期工作也引來大量攻擊，他認為那跟外界對言論自由與 Elon Musk 的立場想像有關。

他發現工程師要升職得寫一個很多人用的自製工具，即使那個工具本來就有現成的解法；他主張重構要先於新功能，第一步永遠是把測試建起來，讓改動能被信任。

他說如果能用穩定的電價換來 Elon Musk 式的君主制，他願意；他認為現在的寡頭體制已經讓人覺得一個透明的獨裁者反而比較誠實。

從手算加減、試算表到巨集，人類不斷把工作往上一層抽象丟；他認為 prompt engineer 就是這個階梯的最頂端，而「照你的意思做」這件事最終取決於 AI 對齊的是誰。

他說自己是被無神論家庭養大的，但後來覺得連自己都會創造出遊戲世界，怎麼可能不相信有創造者；他覺得這個信念在世界毀滅時能帶來安慰。

他坦承 comma.ai 起步時帶著跟 Elon Musk 較勁的心態；也聊到具身機器人 comma body 未來會靠家用主機無線連線運算，而不是把運算塞進機器人本體。

他拿 Sam Bankman-Fried 當例子，認為把慈善簡化成一套效益計算很危險；他更相信讓東西變便宜的加速主義才是真正讓人脫貧的力量，也反對用 UBI 把人的生存綁在政府的施捨上。

他說自己還沒想清楚這場遊戲的規則，但覺得目標是要跟神平起平坐；訪談尾聲兩人互相道別，George 也提到自己最近重讀了《創世記》。