Altman 談 GPT-4 的興奮與恐懼

GPT-4 剛上線這週，Altman 說它像是後人回頭看會覺得「很早期」的 AI；真正讓 ChatGPT 一夕爆紅的不是模型本身，而是 RLHF 讓它從有知識變成聽得懂你要什麼。

GPT-4 的訓練資料來自開源資料庫、產業合作與網路內容，篩選比蒐集更花力氣；Altman 也說模型的能力已經可以在訓練前用規模去預測，準確到連他自己都意外。

Altman 觀察到很多人只把 GPT 當資料庫查東西，但它其實展現出某種推理能力；這種能力理想上能加成人類的智慧，但也可能被用得完全沒有智慧。

Jordan Peterson 曾要 ChatGPT 比較對拜登與川普的正面用字數量，模型沒能把兩段文字改成等長，被說成「說謊」；Altman 認為那其實是計數與多輪推理的技術限制。

被問到 Peterson 是不是法西斯主義者、新冠病毒是否來自實驗室，GPT-4 都能給出有脈絡的中立答案；這背後是大量內部與外部紅隊測試換來的結果，Altman 強調對齊的速度要追得上能力進步的速度。

System message 讓使用者能指定 GPT-4 用什麼身分或格式回答；System Card 也老實列出早期版本被誘導寫出反猶太言論之類內容的過程，顯示對齊做得再細都可能被繞過。

Altman 心目中的理想狀態，是全世界一起開一場類似制憲會議的討論，訂出 GPT 該有的行為界線，再讓不同國家與使用者在裡面各自調整；他也承認這在現實中很難做到。

對於要不要開放無限制的基礎模型，Altman 說多數人真正想要的其實是照自己價值觀微調過的版本；他也提到不放心把審查完全交給演算法，那正是 Facebook 動態曾經出過的問題。

GPT-4 會學著拒絕某些提問，但 Altman 說自己很不喜歡被電腦說教的感覺，寧可把使用者當大人看待，例如願意認真跟你討論地平說，而不是直接迴避。

從 3.5 到 4 的躍進不是單一突破，而是資料整理、訓練與優化器上數百個小改動疊加而成；流傳很廣的「GPT-4 有 100 兆參數」說法，其實源自 Altman 自己一場被斷章取義的舊演講。

Altman 不排除光靠現有資料真的能推出重大科學突破，但他更期待 GPT 是放大人類意志的工具；聊到工程師的恐懼時，他說那種太厲害而害怕的心情，跟當年西洋棋手輸給 Deep Blue 時很像，但西洋棋後來反而更受歡迎。

Altman 認真看待 Eliezer Yudkowsky 對齊超級智慧幾乎不可能的論點，覺得那篇部落格值得一讀，但相信解法只能一邊部署一邊學；被問到時程與起飛快慢時，他說自己偏好時程短但起飛慢的組合，用「我看到就知道」的標準來看，覺得 GPT-4 還算不上 AGI。

Altman 覺得 GPT-4 更像是知道怎麼假裝有意識，而不是真的有意識；他引用 Ilya Sutskever 的思想實驗——如果訓練資料完全不提意識，模型卻還是聽得懂這個概念，那才值得認真看待。

比起模型突然覺醒，Altman 更擔心假訊息與經濟衝擊這類現在就可能發生的風險，尤其很快會出現一批幾乎沒有安全防護的開源大型語言模型。

OpenAI 從非營利組織改成設上限的營利公司，是因為單靠非營利募不到需要的資金；Altman 也談到自己不想拿任何超級投票權，覺得任何一個人壟斷這項技術的權力都是壞事。

Altman 說他跟 Elon Musk 在 AGI 風險的嚴重性上其實看法接近，分歧主要在方法上；他也坦言從小就把 Musk 當英雄，即使常被在 Twitter 上攻擊，還是希望 Musk 多看看 OpenAI 認真做的部分。

被問到 GPT 是不是太「覺醒」，Altman 說沒有一個版本能讓所有人都同意它中立；他更在意的是怎麼挑出具代表性的標註員，而不是靠單一群體的價值觀去校準模型。

Altman 觀察到疫情之後，很多人連假裝聽懂自己不同意的立場都做不到，情緒先擋在理智前面；他希望 GPT 至少能在這件事上比人做得更好。

Altman 從用了很久的 Emacs 換到 VS Code 搭配 Copilot，坦承這個小改變讓他既緊張又受用；聊到哪些工作會被取代時，他猜客服類工作可能明顯減少，同時談到 UBI 是轉型期的緩衝，不是萬靈藥。

被問到蘇聯為什麼垮台，Altman 認為關鍵是缺乏個人意志與分散式試錯的空間；他也認真想過，如果把集中計畫換成一個真正的超級智慧來做決策，結果會不會不一樣，但坦言沒有答案。

Altman 說數學算得上真、新冠病毒起源算不上有定論，多數爭議都卡在這兩者之間；他提到《Blitzed》這本書把納粹德國的暴行歸因於安非他命的說法很「黏」，但也提醒過度簡化的敘事常常在掩蓋更黑暗的真相。

Altman 說防越獄就像小時候玩越獄 iPhone，現在角色換了讓他很不習慣；他也秀出同事整理的 OpenAI 出貨紀錄，從 Dolly 到 GPT-4 幾乎每隔幾個月就有新東西上線。

Microsoft 對 OpenAI 投資 100 億美元，Altman 說這段合作雖然不是事事順利，但整體上超乎預期；他特別稱讚 Satya Nadella 兼具願景與執行力，是少見能把大公司文化整個翻新的領導者。

談到矽谷銀行倒閉，Altman 認為根本原因是管理階層在零利率環境下買進長天期債券，升息後被迫認賠；他也提醒這可能只是金融體系脆弱性暴露出來的第一個例子。

Altman 說自己對所有系統都只用「它」這個代名詞，也擔心太擬人化的介面會讓人對工具產生不該有的依賴或情感連結；聊到真的做出 AGI 會想問什麼，他說最想知道宇宙裡還有沒有其他文明、物理學能不能被一次講清楚。

被問到給年輕人的建議，Altman 說自己其實是靠不太聽別人的建議才走到今天；聊到人生意義時，他把整個對話拉回到這是全人類共同累積出來的結果，一路可以追溯到電晶體發明之前的人類文明。