AI Engineer Europe 2026 · 工作坊 · 2026-05-26 · 105 分
在家跑 Frontier AI
Run Frontier AI at Home · Alex Cheema，EXO Labs
EXO 的 Alex Cheema 談為什麼推論主要是記憶體問題，並現場用 Mac 叢集與 Spark 加 MacBook，示範把大模型搬到自己的硬體上跑。
概要
- 推論是記憶體問題Alex 說訓練受限於算力，推論多半受限於記憶體。本地只有單一使用者，很難 batch，所以 decode 要看記憶體容量、頻寬與每個 byte 的能耗。
- prefill 沒那麼重要Alex 主張本地跑時，好的 harness 會讓 prompt 大半不變、吃到 cache，所以長期要顧的是 decode；harness 本身也有很大的效能空間。
- 整條堆疊還有約 100X 空間從 kernel、harness 到模型與硬體都有可改的地方，Alex 預估 18 個月內花 5,000 美元就能接近 frontier，兩年內市面上會有可以直接買的盒子。
- 異質硬體分工Spark 算力多、Mac 頻寬高，所以 Spark 跑 prefill、Mac 跑 decode。現場長 prompt 的端到端時間約快 2x，Alex 也提到未來想用 RTX 取代 Spark。
- 用 RDMA 把四台 Mac 串成一個叢集Alex 說 RDMA 讓 Mac 之間的通訊快 100 倍，現場把 GLM 5.1 載入四台 Mac 並用 tensor parallelism 跑起來。
- 本地也會有 batchAlex 舉 multi-agent、test-time scaling、continual learning 三個理由，認為本地不會永遠是 batch size 1。EXO 也計畫公開數千筆 benchmark。
原話
▶ 02:58“not your weights not your brain”
不是你的權重，就不是你的大腦；引自 Karpathy
▶ 09:49“there's a lot of value in the harness”
harness 這一層有很多價值
▶ 10:42“inference is mostly about memory”
推論主要是記憶體的事
▶ 11:32“my argument is prefill doesn't actually matter that much, especially when you're running stuff locally”
我的論點是 prefill 沒那麼重要，尤其是在本地跑的時候
▶ 1:38:35“pretty much a dead end, it's a slot machine at that point”
這幾乎是死路，到那個地步就是一台老虎機；指的是只叫 auto-research 自己想辦法變快、沒有假設也不驗證
延伸
- Alex 設想 EXO 的叢集多到一定規模後，閒置算力可以拿去跑志工型的科學計算，等於一座分散在全球的資料中心。
- Alex 提醒網路上「用一堆 Raspberry Pi 跑大模型」「在 MacBook 上跑 Kimi」這類展示，多半是重度量化、甚至 1-bit 的版本，不如直接用較小、不量化的模型。
- 談 test-time scaling 時，Alex 引 Hugging Face 的一份研究：1B 的小模型加上更多推論時的搜尋，可以追上大模型的表現。
章節
點時碼直接跳到原片的那一段。
- 開場舉手調查Alex 先問現場有多少人懂 LLM、prefill 與 decode、跑過本地模型、用過 EXO；看到幾乎全場都舉手跑過本地模型，覺得採用曲線可能比自己以為的更前面。
- EXO 的使命EXO 是專注在本地硬體上跑 frontier AI 的實驗室，橫跨模型、軟體、硬體整條堆疊，目標是降低本地跑 frontier AI 系統的成本。Alex 指出現在多數 AI 還是跑在資料中心。
- Exocortex 與租大腦名字來自 exocortex：AI 會變成自己的延伸，那就要問是不是想「租」自己的大腦。Alex 引 Karpathy 的一句話，並舉有人做滲透測試被三家 API 供應商鎖住帳號的例子，說明對雲端的依賴。
- 兩種現實Alex 描述兩種世界：封閉世界裡少數公司握有最強模型並收租；EXO 相信需要一股對抗的力量，讓模型保持開放，也不必靠大型資料中心才跑得動。
- 只談推論與硬體彩票這場只談推論，不談訓練。Alex 的論點是現有硬體都圍繞訓練和 FLOPs 打造，研究也被這套硬體牽著走，並推薦 Sarah Hooker 談 hardware lottery 的文章。
- 低垂的果實Alex 舉 Qwen 3.5 在 Apple Silicon 上比理論速度慢約 50%，原因是啟動了太多不必要的 kernel，融合之後推論效能提升 30%，接著說編排、通訊與 harness 同樣有空間，同一個模型換 harness 表現就不同。
- 推論是記憶體問題訓練受限於算力，推論多半受限於記憶體；本地只有單一使用者，沒辦法 batch。Alex 主張本地的 prefill 沒那麼重要，因為好的 harness 會讓 prompt 大部分不變、命中 cache，decode 才是關鍵。
- decode 的三個條件decode 要看三件事：模型塞不塞得進記憶體、記憶體頻寬、每搬一個 byte 的能耗。Alex 用手機當例子，說 18 個月前測試時手機燙到拿不住，電池也只撐約一小時。
- Intelligence per wattAlex 介紹 Stanford Hazy Research 的 intelligence per watt 指標，過去兩年約有 5x 的進步，並說更正確的說法是 per joule。進步來自硬體也來自模型層，所以要看整條堆疊。
- Q&A：硬體會走向哪有聽眾問硬體走向、會不會有人花 5,000 美元買推論機。Alex 以 GLM 5.1 為例，說現在要跑它得花約 40,000 美元，速度還只有約 20 tokens per second，但整條堆疊還有約 100X 的價格效能空間，預估 18 個月內 5,000 美元可以接近 frontier。
- Q&A：模型變大還是變小有聽眾問模型越來越大、同時小模型也越來越強，會走向哪邊。Alex 說兩邊都會發生：資料中心需求持續，但多數消費者用途會有明顯的邊際遞減，所以很多事可以留在本地做。也談到自己轉向用 Claude Code 的契機。
- Q&A：專用晶片有聽眾問如果模型穩定下來，是不是該做專用晶片。Alex 說光譜一端是通用 GPU，另一端是為單一模型做的硬體；現在 frontier 變動太快所以不划算，但邊際遞減成立的話這會改變。EXO 自己不做硬體。
- Q&A：Mac 與 RTX 都要聽眾提到 Mac 放得下大模型但慢、RTX 快但記憶體小。Alex 同意兩者差異很大，主張兩種都要，把模型不同的部分放到不同裝置上跑，就像資料中心已經在做的那樣。
- Spark 加 Mac 拆開跑Alex 展示約 4,000 美元的 Spark，說它算力多，所以跑 prefill；Mac 頻寬較高，所以跑 decode，這是目前最划算的組合。也談到 dense 模型比較適合 RTX，以及未來可能要混用多種硬體。
- EXO 怎麼運作EXO 是裝在每台裝置上的背景 app，會自動發現其他裝置、組成 mesh network，並決定怎麼分配模型。每台機器開一個 HTTP API，Alex 自己用 Tailscale 從外面連回家裡的 cluster。
- 本地其實也會 batch雲端能 batch 所以單位經濟好，但 Alex 認為本地也不會是 batch size 1，並給三個理由：multi-agent、test-time scaling（best of N 之類的搜尋）、continual learning。最後一項若成真，雲端就沒辦法 batch，本地相對雲端會好 10x。
- Q&A：閒置算力出租有聽眾問利用率，以及把閒置算力租出去的可能。Alex 說現在不做，要等有規模；若本地跑得動 frontier，24/7 的 agent 會讓利用率上升。對於類比挖礦的提問，認為出租要往高抽象層走，例如 24 小時內完成的 task。
- demo：四台 Mac 與 RDMA現場用四台以 Thunderbolt 5 互連的 Mac 解釋 RDMA：tensor parallelism 每層要同步兩次，以前 Mac 之間延遲約 300 微秒，光通訊就吃掉約 40 毫秒；有了 RDMA 快 100 倍，通訊降到不到 1 毫秒。
- demo：GLM 5.1 跑在叢集上前一天剛發表的 GLM 5.1 已載入四台 Mac，4-bit 版近 400 GB，完整版約 1.5 TB，每台記憶體用量約 112 GB。Alex 也換跑 Qwen 3.5，顯示約 77 tokens per second，並說明新模型出來時轉權重和支援架構的工作。
- 現場加入一台 MacBookAlex 請聽眾把自己的 MacBook 加進 cluster，Wi-Fi 不通，改用 Thunderbolt 線。過程中解釋 EXO 用 event sourcing 讓新節點重播歷史、RDMA 需要 Thunderbolt 5 並進復原模式開啟，這台沒開所以走 TCP/IP。
- 模型下載與整份權重啟動模型前要先下載，是本地跑的一大痛點；切分模型時每台機器基本上都需要整份權重，否則節點掛掉就接不起來。他們用 Qwen 0.6B 這種最小的模型完成了現場推論。
- Spark 加 MacBook 的拆法Alex 說明 Spark 與 MacBook 頻寬和算力的比例差約 12x，所以讓 Spark 跑 prefill、MacBook 跑 decode，KV cache 要邊算邊串流過去。現場因為 KV cache 走 Wi-Fi 成了瓶頸，改接 10 gigabit Ethernet 才合理。
- 公開 benchmark 計畫Alex 批評目前資訊多來自 Reddit 和 Twitter、各說各話，重度量化的成果常被誤當突破。EXO 預計一個月內上線網站，放上數千筆 benchmark，並能依預算看各種本地配置的 Pareto frontier。
- Q&A：auto-research 與磁碟有聽眾提問後，Alex 說自己對這類成果偏保守：auto-research 很有用，但必須搭配科學方法，否則只是老虎機；也不看好從磁碟跑大模型，認為要做那些技巧，不如用一般記憶體做。
- demo：兩台合用快一倍回到 Spark 加 MacBook 的對照：長 prompt 才有加速，打招呼這種短 prompt 沒差。Alex 說端到端約快 2x，單用 MacBook 約 7 秒，兩台合用是 4.8，並提到下一步可能換成 RTX 5090。
名詞
- EXO
- Alex 的實驗室與同名軟體，用來把多台裝置串成一個 cluster 跑本地模型
- exocortex
- EXO 名稱的由來，指 AI 是使用者自己的延伸，而不是租來的工具
- prefill / decode
- 推論的兩個階段：prefill 載入 prompt 並產生 KV cache，算力吃重；decode 逐 token 生成，受限於記憶體
- KV cache
- prefill 階段產生的快取，decode 每次都要讀，拆機器跑時得串流過去
- intelligence per watt
- Stanford Hazy Research 提的指標，模型在某任務的表現除以耗能；Alex 說更準確是 per joule
- RDMA
- 讓 Mac 之間的通訊延遲降到個位數微秒，需要 Thunderbolt 5 並在復原模式開啟
- tensor parallelism
- 把每層的張量運算拆到多台機器，每層要同步兩次
- Spark
- 現場展示的約 4,000 美元機器，算力多、頻寬較低，用來跑 prefill
- Tailscale
- Alex 用來從外面安全連回家裡 cluster 的工具，EXO 沒有內建
- event sourcing
- EXO 用的設計，每台機器寫自己的 append-only log，新節點加入時重播歷史
- test-time training
- 在推論時更新模型權重，Alex 認為這會讓雲端沒辦法 batch
- GLM 5.1
- 現場跑的模型，Alex 說是前一天剛發表的開源 frontier 模型，約一兆參數
