Karpathy 談軟體 2.0 與不用光達

他形容神經網路只是一串矩陣乘法加非線性函數，本身沒有太多神祕，真正驚人的是參數夠多、問題夠難時冒出的湧現行為；他也坦言不愛把神經網路類比成大腦，因為訓練它的最佳化過程跟演化完全不同。

他認為生命起源本身沒有想像中困難；被問到「細菌跳到複雜生物才是真正難關」的說法時，他也不認同，覺得那同樣未必難。既然條件不算苛刻，他判斷宇宙裡應該有不少文明，聽不到他們的原因更可能是星際旅行本身極度困難，而不是文明稀少。

他把宇宙想像成一套可能有漏洞的物理系統，就像強化學習的智能體會找到鑽規則漏洞的奇怪解法；他也承認自己對隨機性感到不安，傾向相信物理定律完全是決定論的，自由意志只是替選擇編出來的敘事。

他說 Transformer 同時做到表達力夠強、能用梯度下降優化、又能在 GPU 上高度平行運算三件事；殘差連接讓網路能先學會「短算法」再逐層加深，這套架構從 2016 年至今幾乎沒有大改。

他認為 GPT 為了把下一個詞猜對，等於同時在學化學、物理、人性等大量隱含任務，某種程度上確實是理解；但他懷疑純文字不足以撐起完整的 AGI，因為很多常識人類從來不會寫進文字裡。

他回顧在 OpenAI 做的專案，讓神經網路直接看螢幕、用鍵盤滑鼠完成訂票之類的任務；2015 年從零開始用強化學習太沒效率，但他認為現在拿 GPT 當初始化，這條路值得重新走一次。

他認為分辨帳號背後是人還是 AI 會變成一場攻防軍備競賽，社會可能得靠數位簽章之類的「人格證明」機制；他也擔心 AI 學到人類容易被戲劇化衝突吸引，進而變成專門帶風向、挑撥關係的存在。

他重提自己多年前寫的概念——愈來愈多程式邏輯不是工程師手刻，而是靠資料集與目標函數訓練出神經網路權重；影像辨識從手工設計特徵一路演變到讓網路自己學特徵，就是這個轉型的縮影。

他描述 Autopilot 最早由多顆小神經網路各自判斷單張影像，再靠大量 C++ 程式碼把八支攝影機的結果手動融合；後來團隊不再信任自己寫得出這套融合邏輯，改讓神經網路直接輸出車輛周圍的三維預測。

他說可用的資料集必須夠大、夠準確、夠多樣，光靠人工在三維空間標注車輛幾乎不可能做到精準；解法是讓電腦離線做三維重建，人類只負責在二維影像上標出「這是車、這是人」。

他把每一顆額外感測器視為要維護供應鏈、拖慢產線、稀釋團隊注意力的負債，而不是單純的加分項；LiDAR 之爭真正該問的是有沒有車隊持續收資料，高精地圖則是一種會拖垮團隊、需要不斷更新的拐杖。

他說從 Elon 身上學到最多的是怎麼把組織的熵壓下去——砍會議、砍不必要的流程；要在公司做大之後還維持新創的速度，得有一個握有夠大權力、願意一直當這件事啦啦隊的人。

他形容五年下來自己愈來愈像企業主管，大多數時間都在開會、做決策而不是寫程式；雖然很愛這家公司跟團隊，但覺得該回頭做更貼近技術的事，也不排除未來為了 Optimus 或 AGI 再回來。

他認為人形是物理世界的通用介面，就像鍵盤滑鼠是數位世界的通用介面；比起為單一任務客製機器人，Tesla 的優勢是能直接複製 Autopilot 的資料引擎，再靠造車的量產經驗把機器人做便宜。

他認為 ImageNet 曾經證明深度學習真的有效，貢獻很大，但錯誤率已經被壓到極低，變得像 MNIST 一樣只剩教學用途；問題是目前沒有一個新資料集能讓整個社群團結在同一個目標底下。

他說自己習慣在凌晨三點工作，因為那時候沒人打擾；真正高產出靠的是連續好幾天把一個問題「載入」腦中持續思考，而不是單日意志力，做一小時教學影片背後常要反覆錄近十小時。

他說自己用一台 27 吋螢幕加筆電，深度學習則靠遠端連進 Linux 叢集用 VS Code 開發；他形容 Copilot 像「寫程式的自動駕駛」，最有用的是補完重複模式跟提示自己不知道的 API，但不會照單全收它給的答案。

他把 AI 研究比擬成物理學——以前一台電腦就能做出突破，現在愈來愈像得靠對撞機等級的資源；他認為 diffusion model 這類單台電腦就能驗證的簡單點子仍有空間，flash attention 這種提升 Transformer 運算效率的核心，就是實際出自學界的貢獻。

他看好能打造出高度像人的 AGI，但懷疑光靠網路文字資料不足以建立對物理世界的完整理解；如果真是如此，Optimus 提供的實體互動資料就成了通往 AGI 的一條保險路徑。

他認為意識可能只是夠大、夠複雜的生成模型演化出的現象——當一個世界模型夠完整，它自然會理解自己也是這個世界裡的一個實體；他預期未來會出現「能不能關掉一個有意識的 AI」這種最高法院等級的倫理辯論。

他認同 AI 被用於戰爭是真實的擔憂，但認為問題不只在 AI 本身，連人類彼此都還沒有對齊；他把核武視為自己長年最擔心的事，擔心的不是文明徹底滅亡，而是被打回重來的那種毀滅性倒退。

他認為在地球上先解決自我毀滅的驅力，才是比在火星留備份更根本的事；他預期未來人類經驗的「變異數」會愈拉愈大，有人去火星、有人投入虛擬實境，而他自己目前仍偏好自然與實體的生活。

他把老化視為一種疾病看待，但認為人類不該直接去攻克它，而是該先解決智能這個「元問題」，再用它去解決包括老化在內的所有其他問題，這也是他選擇一直留在 AI 領域的原因。

他不認同「沒有死亡就沒有意義」這種說法，覺得人類真正該爭取的其實是更多時間去搞懂宇宙為什麼長這樣；他相信死亡不是無法迴避的宿命，未來應該會有醫療介入的空間。