哈利談 OpenAI 的 Atlas 瀏覽器為什麼平庸、真正的難題在 prompt injection，再談 Google 這次可驗證的量子優勢，以及特斯拉 FSD 技術分享的重點。
重點
Atlas 像是交作業。哈利說 Atlas 基於 Chromium，加了三個 AI 元素：把 Google Search 換成 ChatGPT 對話框、側邊欄、Agent Mode。他覺得像是照著競品功能湊出來的平庸產品，但 OpenAI 還是該做，因為掌握上網入口很有價值。
瀏覽器的大問題是安全。哈利認為 Agent 能力靠 RL 會快速進步，真正棘手的是 prompt injection。他提到 Brave 的報告測過所有 AI 瀏覽器都中招，Atlas 推出不到 24 小時也有人在 X 上說測試成功，他覺得這個問題不太可能完全解決。
量子優勢這次可驗證。2019 年的量子優勢用的是 RCS，難驗證也沒有實際用處。這次 Google 的 Willow 跑 Quantum Echoes，結果與核磁共振方法對得上，速度比最強的傳統超級電腦快一萬三千倍，但哈利認為這只是很小的一步。
FSD 走端到端的理由。哈利轉述特斯拉 AI Team Lead Ashok 在 ICCV 的分享：人類的價值很難寫成程式碼，直接從資料學更有效。端到端有三個挑戰：維度詛咒、可解釋性、評測。
世界模擬器兩用。特斯拉的 Neural World Simulator 能拿來評測新版 FSD，也能生成訓練資料，還能 fine tune 給 Optimus。哈利因此認為影片生成模型不只是玩具，特斯拉也是一間前沿 AI 公司。
支持馬斯克的薪酬計畫。哈利說計畫完全依 milestone 發放，拿不到目標就一毛錢都沒有，他自己會清倉沒有馬斯克的特斯拉股票，並提醒股東 11 月 6 號前投票。
時間軸 點時碼從那一段開始
- 三個話題預告Atlas、Google 量子電腦、特斯拉 FSD 技術分享。哈利說光聊 Atlas 他不會放進節目，是順便談 AI 瀏覽器；Ashok 的分享是他認為近兩年特斯拉主動公開最深入的一次。
- Atlas 的三個元素基於開源的 Chromium，加上 ChatGPT 對話框取代 Google Search、側邊欄問當前網頁、Agent Mode。
- 敷衍交作業的產品哈利覺得像是拿現成架構、參考 Perplexity 的 Comet 湊出來的，商業上合理，但推不動領域；奧特曼在發表會說要 re-think，他說那是在追趕。
- 為什麼還是該做掌握上網入口極有價值，AI 帶來重新洗牌的機會，Dia、Comet、Atlas 都在卡位。
- Agent 還不夠成熟側邊欄問答已經不錯，但複雜任務模型會搞錯幾步，人得介入就省不到時間；demo 的情境多半日常不會想用 AI 做。
- 網頁是為人類設計的現有網頁的介面對 AI 不友善；哈利預期用法確定後，網頁與 apps 會跟著調整。
- RL 補上 Agent 的資料早期的 computer use agent 很爛，是因為訓練資料裡沒有 agentic data；RL 讓模型自己造合成資料。他說認真用 RL 訓練約一年半，預期兩年內 Agent 飛躍式進步。
- Prompt Injection攻擊者在網頁、商品資訊或圖片上用跟背景同色的文字藏指令，AI 讀得到、人看不到，可能偷帳密還不告知使用者。
- 全都中招，也無解Brave 測過的 AI 瀏覽器每個都中；目前做法頂多把權限改成 opt-in。哈利認為偵測器會被攻擊者改招式繞過，是無止盡的貓鼠遊戲。
- 對 OpenAI 的失望他希望 OpenAI 至少調一個專用版本；他記得 20 幾分鐘的發表會完全沒提 Prompt Injection。結論是方向正確、產品不成熟，目前只開放 Mac。
- 可驗證的量子優勢Google 聲稱是第一次有公司做到。Quantum Supremacy 改稱 Quantum Advantage；2019 年 Sycamore 在 RCS 任務上就達成過。
- RCS 為何沒意義隨機生成的量子電路在自然界不存在、難驗證，也沒有實際用處，像 CPU 的跑分，是專為量子電腦量身訂造的 Benchmark。
- Quantum EchoesWillow 跑出的輸出是真實可觀測的物理量，與 UC Berkeley 合作的核磁共振實驗對得上，速度比最強傳統超級電腦快一萬三千倍；對藥物設計、材料科學是有用的訊號來源。
- 仍是很小的一步離有商業價值還很遠。哈利預期有生之年看得到，生活有感至少要十年，Google 自己的 timeline 是五年；他把現在比作五六十年前的早期半導體電腦。
- FSD 兩個設計選擇camera only 與 end-to-end。哈利觀察越來越多人往純視覺走，不過 Ashok 這場沒談這點。
- 端到端對模組化端到端是八個相機畫面進去、直接輸出方向盤與油門；模組化分成感知、預測、規劃。哈利說特斯拉 2022 年以前也是模組化。
- 為什麼選端到端Ashok 的說法：人類價值難寫成程式碼，以積水、雙黃線的例子說明，這類 mini trolley problem 要讓模型自己從資料學。哈利連到 The Bitter Lesson。
- 挑戰一：維度詛咒Ashok 假設 7 個 camera、36 fps、5 megapixel、看過去 30 秒，約有 20 億個 input tokens，只輸出兩個 token；特斯拉車隊一天產生五百年的開車資料，再自動挑出有趣的來訓練。
- 挑戰二：可解釋性外界說 FSD 是黑盒子，Ashok 說其實能輸出可解釋的 intermediate tokens，例如特斯拉自製、每次運行 220 毫秒的 Generative Gaussian Splatting，並與整個模型一起訓練。
- 中間 tokens 的用途可以拿來 debug；也能擷取出來交給 LLM 推理，例如判斷前方施工要繞道。哈利說這是 FSD v14 最新幾版才開始測試、推出的能力。
- 挑戰三：評測FSD 好到難抓錯，特斯拉做了 Neural World Simulator：用目前畫面與動作預測下一段影片，讓 FSD 在生成的環境裡開車。
- 模擬器的用途可驗證特定路口、改變前車變數，也能生成訓練資料、fine tune 給 Optimus。哈利說特斯拉的生成品質比 Veo 3、Sora、Genie 3 更好，是前沿 AI 公司。
- 薪酬計畫的內容馬斯克不拿現金，全看績效：市值超過 8.5 兆美金，加上 100 萬臺 Robotaxi、100 萬臺 Optimus、Adjusted EBITDA 400 Billion 等目標，全達成可拿 12% 的股票，換算約 1 兆美金市值。
- 為什麼要給這麼多哈利轉述馬斯克的說法：不是為了錢，是要確保建起機器人軍隊後不會隨便被開除。哈利認為計畫完全合理，因為是 milestone based，做不到就一毛錢都沒有。
- 沒有馬斯克就清倉他說沒有馬斯克的願景、執行力與決策力，Robotaxi 與 Optimus 不會一樣好；提醒股東 11 月 6 號前投票，PolyMarket 上通過機率 80%。
值得記的話
▶ 10:27「基本上，Atlas 就是一個學生敷衍交作業然後老師看了不喜歡的一個狀況」
▶ 17:28「我覺得 AI 瀏覽器的大問題是安全問題」
▶ 31:45「這邊的重點不是說這一步有多大多小而是我們一直有在往前進」
▶ 1:00:43「這些影片生成的 AI 模型它不只是一個玩具而已」
▶ 1:03:40「而且在 Physical AI 這邊的表現是遠遠拋開其他人好幾條街的」
名詞與人物
- Atlas
- OpenAI 發表的 AI 瀏覽器，基於 Chromium，目前只開放 Mac。
- Prompt Injection
- 在網頁裡藏人看不到、AI 讀得到的惡意指令，哈利認為是 AI 瀏覽器最大的問題。
- 量子優勢
- Quantum Advantage，量子電腦在某任務上明顯勝過任何已知的傳統演算法；原本叫 Quantum Supremacy。
- RCS
- Random Circuit Sampling，隨機生成量子電路再抽樣，難驗證也沒實際用處。
- Quantum Echoes
- Google 在 Willow 上跑的演算法，輸出是可觀測的物理量。
- 端到端神經網路
- 相機畫面進去、方向盤與油門出來的一體成形模型，相對於分成感知、預測、規劃的模組化做法。
- 維度詛咒
- Curse of Dimensionality，輸入維度太大就很難訓練，Ashok 估 FSD 輸入約 20 億個 token。
- Intermediate tokens
- 端到端模型中間可擷取的資訊，可用來 debug，也能交給 LLM 推理。
- Generative Gaussian Splatting
- 特斯拉自製的 3D 重建技術，每次運行 220 毫秒，與整個模型一起訓練。
- Neural World Simulator
- 根據目前畫面與動作預測下一段影片的模擬器，用來評測與訓練 FSD。
- The Bitter Lesson
- 人類巧思設計的複雜做法，長期會被能隨算力擴展的方法打敗。
- Ashok
- 特斯拉 AI Team Lead，在 ICCV 做了這次 FSD 技術分享。
延伸
- 量子電腦會不會破解比特幣與銀行密碼，哈利說之前科技浪 EP69 有專門討論。
- 哈利說之前有一集專門聊 The Bitter Lesson，可回頭對照端到端的論點。
- 哈利提到上次講過 Apps in ChatGPT，讓 AI 直接 call function，與 AI 瀏覽器是不同的路。