哈利參加高通 Snapdragon 峰會後，先講新晶片與高通對 AI 的三個判斷，再接一段與 AI Hub 負責人的全英文專訪，聊開發者工具與 AI 取代 app 的可能。
重點
三張新晶片。手機一張、車用兩張。手機的 Snapdragon 8 Elite 換上自家設計的 Orion CPU，哈利說比上一代單核、多核都快 45%，瀏覽網頁快 62%；車用的 Ride Elite 與 Cockpit Elite，CPU 和 GPU 各進步 3 倍，NPU 進步 12 倍。
AI 的未來是混合運算。哈利整理出邊緣 AI 的五個好處：成本、延遲、穩定、個人化、隱私。但最強的模型還是只能在雲端跑，所以兩邊會並存。
AI 會變成新的 UI。哈利說高通的看法是 AI 的 killer app 就是 no app，要做事直接吩咐 AI，不必點進各個 app。他自己把人機介面的演進從指令列算起：1984 年的 Macintosh 是第一次革命，2007 年的 iPhone 是第二次，LLM 是第三次。
開發者資源是高通的另一個戰場。哈利提到高通靠 AI Hub 和 AI Stack，讓開發者把模型調到在 Snapdragon 上跑最快。專訪裡 Siddhika 說，她的目標是讓開發者從第一天就想到在裝置上跑，而不是先上雲再搬下來。
新架構要三到四天，目標縮到幾分鐘。Siddhika 說遇到沒見過的模型架構，要找出最佳的跑法大約三到四天；她們現在的重點是把這段壓到幾分鐘。
LLM 夠不夠、需不需要新裝置。哈利認為 LLM 夠用，新裝置需要但不一定取代手機。Siddhika 承認結果不夠確定是 LLM 現在最吃力的地方，但相信 RAG 這類方法會往那個方向走；新形態裡她最看好眼鏡。
時間軸 點時碼從那一段開始
- 開場預告這集整集都在聊他去夏威夷參加高通 Snapdragon 峰會的見聞；OpenAI 的 ChatGPT search 新聞留到下一週。
- 夏威夷行程搭了 24 小時的飛機，住在海邊的度假村，行程排滿，空檔就去海邊散步，還有一趟出海浮潛。哈利說最有價值的是跟各路人馬的交流。
- 本集架構前半是峰會見聞和他對高通的理解，後半放一段三四十分鐘的專訪。主軸是高通想帶給我們什麼樣的未來。
- 高通是什麼公司從手機通訊起家，2007 年之後做消費者產品的晶片。晶片用在手機、PC、汽車、XR、IoT 五大類。
- 手機新晶片Snapdragon 8 Elite 打破 Gen 系列的命名；Orion CPU 是自家設計，跟蘋果 A18 Pro、聯發科天璣 9400 同一級。NPU 也能跑多模態模型了。
- 車用晶片Snapdragon Digital Chassis 分 Cockpit、Ride、Ride Flex 三張，新發表的是 Ride Elite 與 Cockpit Elite，理想的新車已經在用。
- 與 Google 合作多年策略合作：高通出晶片，Google 出作業系統、雲端和 AI 模型。哈利特別說明 Android Automotive OS 不同於只是投影手機畫面的 Android Auto。
- 第一點：混合運算哈利歸納高通的三個判斷。先講邊緣 AI 為什麼值得跑：成本、延遲、穩定、個人化、隱私，最強的模型仍留在雲端。
- 第二點：AI 是新 UI高通說 AI 的 killer app 是 no app。哈利用查帳再匯款的例子說明，兩個動作對 AI 講兩句就完成。
- 三次 UI 革命從指令列算起，1984 年 Macintosh 的圖形介面是第一次革命，2007 年 iPhone 的觸控是第二次，LLM 是第三次，因為電腦終於聽得懂人話。
- 兩個關鍵問題LLM 夠不夠、要不要新裝置。哈利的答案是夠，也需要，但新裝置不必取代手機。
- 第三點：開發者資源高通要讓開發者把硬體發揮到最大：AI Hub 有 100 多個最佳化過的模型，AI Stack 負責跟晶片溝通。
- 專訪開場Siddhika 負責 Qualcomm AI Hub，目標是讓開發者從第一天就想到在裝置上跑。她的團隊是去年被高通收購的 Tetra。
- 開發者工具以社群的 TensorFlow Lite、ONNX Runtime 為底，再接上高通的 NPU，不用每換一種裝置就換一次 SDK。能掌控整台裝置的情境，也有自家專屬的 SDK。
- CPU、GPU、NPU 分工三者各有擅長的工作；執行引擎依成本模型把計算圖拆開分配，同時要盡量避免來回切換。開發者可以指定不要動 GPU，例如遊戲。
- 新模型多久能用架構見過的幾秒內能跑，全新的要三到四天；先讓模型跑起來只要幾分鐘，慢的是把效能調上去。
- 一次開發跑所有裝置手機、PC、車、IoT 用同一套 AI stack，模型跑一次就能派送到不同的 SoC。
- AI 取代 app每個 app 都塞一個 LLM 記憶體會不夠，所以要有一個了解個人脈絡的 agent 統合。結果不夠確定的問題，她認為 RAG 會慢慢改善，哈利補上 test-time compute，她也同意。
- 還需要螢幕嗎以語音為主的話形態會變，但螢幕很難取代；Meta 的眼鏡是現在最有希望的形態，疲勞與電池是問題。
- 開發者該做什麼凡是替人省時間的任務都值得做；程式與教育之外，她舉了幫人走出喪親之痛的 AI，認為心理健康是還沒被談夠的方向；哈利分享自己焦慮時找 Pi 聊天的經驗。她也提到 AI 倫理是大題目。
- 最期待的未來與車內 AI她夢想不用買車、像訂閱 Netflix 那樣叫自駕車。接著談車內 AI：能回答小孩的「為什麼」，安全要面對沒預料到的狀況。
- Apple 的 adapter哈利問 Apple 在模型上加 adapter 的做法，她說高通發表的 orchestrator 概念很像，未來會成為一個選項。
值得記的話
▶ 52:37「so that they start thinking of on device from day zero from when they think of ai」
讓開發者一想到 AI 就從第一天開始想在裝置上跑
▶ 59:50「you don't want to switch between cpu and gpu and npu every context is a cost」
不想在 CPU、GPU、NPU 之間切來切去，每次切換都有成本
▶ 1:05:39「it takes about three to four days sometimes to figure out」
有時要花三到四天才能找出最佳跑法，指全新的模型架構
▶ 1:11:15「very quickly we'll run out of memory」
很快就會記憶體不夠，指每個 app 都塞自己的 LLM
▶ 1:21:31「any application any task that saves time is the task they should apply ai towards」
只要能替人省時間的應用，就是該用 AI 的地方
名詞與人物
- Snapdragon 8 Elite
- 這次發表的手機晶片，打破之前 Gen 系列的命名，CPU 換成 Orion。
- Orion CPU
- 高通完全自家設計的 CPU；哈利說上一代 Kryo 是以 Arm 的 Cortex 設計為底。
- Snapdragon Digital Chassis
- 高通的智慧車輛整包方案，晶片分 Cockpit、Ride、Ride Flex 三種。
- Android Automotive OS
- Google 為車子打造的作業系統，跟只投影手機畫面的 Android Auto 不同。
- 混合運算
- 一部分 AI 在雲端跑、一部分在手機這類邊緣裝置上跑；高通有一篇白皮書就叫 The Future of AI is Hybrid。
- 邊緣裝置
- 手機、筆電這類在使用者身邊的運算裝置，也有人說終端裝置。
- Qualcomm AI Hub
- 高通的平台，提供 100 多個已最佳化的模型，也讓開發者轉換並優化自己的模型。
- Qualcomm AI Stack
- 高通整套 AI 軟體，含 runtime，能跟 TensorFlow Lite、ONNX Runtime 這類社群工具整合。
- Tetra
- Siddhika 共同創辦的公司，去年被高通收購，AI Hub 的前身。
- Cristiano Amon
- 高通 CEO，在峰會第一天的主題演講提出 AI 是新介面的想法。
- Siddhika Nevrekar
- 高通 AI Hub 的負責人，這集專訪的來賓。
延伸
- 哈利說他在 EP41 聊過 Copilot+ PC，第一波 Copilot+ PC 的晶片就是高通的 Snapdragon X Elite。
- 哈利說上一週聊過 computer use 功能，這集拿它來說明讓 AI 去操作為人設計的介面，出錯機率會逐步相乘。
- 哈利說 Mistral 推出的小模型，同步就在 AI Hub 上架；他也說在手機上跑 Llama 3.2 這類多模態模型，是他之前沒看過的。