本地 AI 為什麼是現在

007Nader Khalil（NVIDIA）, Joseph Nelson（Roboflow）, Alex Cheema（EXO Labs）, Ahmad Osman（Osmantic）, Matthew Berman（Forward Future）44:292026-07-11 上架

State of the Union: Why Local, Why Now — NVIDIA, Osmantic, Roboflow, EXO Labs, @matthew_berman

Local AI Summit 的開場座談：五位講者談各自的本地 AI 轉折點、多模型與專用模型的趨勢、NVIDIA 與 EXO 三週把 DGX Spark 效能拉高十倍的經過，以及開源模型為什麼值得守住。

這場講了什麼

• 本地的理由是隱私與成本：Nader 開場說，reasoning 模型和一直開著的 agent 讓 token 用量變成持續的開銷，企業與個人又都不想讓資料外流，本地兩邊都顧得到。
• 轉折點都是「能自己下載來玩」：講者各自點了 Llama、Llama 2、DeepSeek 的 MoE 和 GLM-5.2，共同點是模型終於能在自己手邊的機器上跑，而且跟封閉的前沿模型差距愈來愈小。
• 一個模型打天下的想像退場了：Joseph 說視覺受限於算力，很早就偏向專用模型，語言現在也往這邊擺；其他講者談的是大模型規劃、小模型執行，以及企業要自己掌握版本與權重。
• Spark 的十倍靠的是調校：NVIDIA 找了好幾個團隊陪 EXO 做了三週左右，Alex 說做的不是發明新東西，而是把為資料中心寫的設定調到適合桌上的機器。
• 一般人需要的是點一下就能用：Matt 認為要簡單到像打開 Cursor；其他講者也主張由工具替使用者挑模型、裝環境，不要讓人自己研究量化。
• 開源本身受到威脅：結尾有講者提醒，相信本地 AI 就等於相信開源 AI，而開源模型的重要性正被質疑，需要有人出聲支持。

影片從哪一段開始看20 段

1. 00:12開場：為什麼是本地Nader 說今年模型和 harness 同時變好，agent 常駐、資料不想外流、成本要穩，這是辦 Local AI Summit 的理由。
2. 02:27講者自我介紹Alex 是 EXO Labs 共同創辦人兼 CEO，Matt 做 AI 影片與電子報，Ahmad 創辦 Osmantic、參與經營 LocalLLaMA 社群，Joseph 是 Roboflow 共同創辦人兼 CEO。
3. 04:34各自的轉折點有人第一次看到 Llama 就被打動，有人靠 Llama 2 才真正能調參數、看懂推論引擎；另一位 2023 年在飛機上用手機跑模型，一句話要跑 20 分鐘。
4. 07:00從 Llama 到 GLM-5.2一位講者回顧：Llama 405B 在本地只跑得出每秒 2 tokens；DeepSeek V3 是巨大的 MoE，用手邊的 Mac Studio 或 Spark 就能以不錯的速度跑；最近的 GLM-5.2 則到了 Opus 等級。
5. 08:34飛機上的 LLaVA 故事一位講者在飛機上看到視障乘客用 Apple 的輔助功能拍前方椅背，卻被描述成印表機；改用 LLaVA 就說對了。這讓講者確定大公司沒有獨占前沿智慧。
6. 10:16今年的關鍵是 harnessNader 認為今年的轉折不只是模型，還有 CLI 和像 Cursor 這樣讓 agent 自己讀檔案系統的 harness，模型因此能碰到真實世界。
7. 11:34視覺給語言的教訓Joseph 說視覺受限於算力和連線，很早就走向專用學習器；語言現在也往專用模型、最後一哩微調的方向擺。
8. 13:11多模型的用法被問到使用習慣，Matt 說從頂級的 Fable、主力的 Sonnet 到本地模型都用，並舉 Coinbase 混用模型讓 token 用量持平；接著有講者談大模型規劃、小模型執行。
9. 15:08企業要控制權與主權一位講者說企業不想被 Dario 決定能做什麼，不想每種工作都付每百萬 token 50 美元，也怕哪天被抽掉；另一位接著說主權包括硬體、軟體、權重、版本與微調方式，企業現在就該蒐集員工的 traces，決定哪個用例交給哪個模型。
10. 18:42遞迴自我改進與 agent 用戶有講者解釋 RSI 是模型自己租算力、訓練並部署下一版；另一位說自家的 Brev 看到 agent 直接來租 GPU 的用量變多，開始把 agent 當第一級用戶。
11. 20:04home labber 的優化心態Ahmad 說 home labber 就是在企業會議室做決定的那群人，量化這類技術就是為了在硬體限制下榨出價值，企業面對的是同樣的限制。
12. 21:50DGX Spark 十倍加速Nader 說最後在 Spark 上拿到 10 倍的效能提升。Alex 補上經過：週四晚餐聊到，週五就接到 Nader 通知、週一到 NVIDIA 總部報到，各團隊一起圍上來；三週左右做的是 vLLM 調校與量化，Nemotron 3 Ultra 在四台 Spark 上跑到每秒 30 tokens。
13. 25:46像 90 年代的 Linux一位講者說本地 AI 像 90 年代的 Linux，基礎設施還沒到位，並介紹自己做的 ODS：在每種硬體上一次裝好 agent 需要的整套環境。
14. 27:09一般用戶還缺什麼Matt 說要簡單到像打開 Cursor 或裝好 Codex；另一位補充要讓人知道哪種用例適合哪種模型與硬體。被問到挑模型算產品還是管線，有講者認為該由使用者面對的入口自動選。
15. 30:38專用模型與持續學習一位講者說雲端模型學的是所有人的平均回饋，專用模型得靠各用例自己的資料；agent 現在把記憶存成 markdown，下一步是更新權重，而且要在本地發生。
16. 33:27開源讓每條路都被試過一位講者以 speculative decoding 為例：最近一週就有三個看似突破的做法，來自 DeepSeek、Modal 與 SGLang 團隊等不同地方，開源讓最好的那個自然勝出。
17. 35:28蒸餾成專用模型Joseph 以 MBARI 的深海影片為例：讓多個大模型先標註、LLM 當評審取共識，再訓練能在潛水艇上即時跑的小模型；也提醒不要直接微調 SAM3，那會丟掉 open vocabulary。
18. 38:25用前沿模型當起點一位講者預期今明兩年會有很多人拿頂級模型 bootstrap，再做成更省、跑開源的配置；另一位接著說，這就是 swyx 提出 AI engineer 時的順序：先找用例，有需要再做 ML。
19. 39:49現場提問：還有哪些問題沒解有聽眾問本地 AI 最大的未解問題，一位講者答是推論優化、讓人容易上手、在預算與硬體限制下榨出效能；這個領域還很早，需要更多人一起做。
20. 41:50開源模型正被質疑一位講者點出兩個難題：簡單與可客製之間的取捨，以及開源模型的重要性正被質疑；相信本地 AI 的人也要替開源發聲。

值得記的話5 句

• Not only did the models get really good, but the harnesses got really good.不只模型變得很強，harness 也變得很強00:12

• I kind of like to joke that Vision is like the original local AI我常開玩笑說，視覺才是最早的本地 AI04:01

• we didn't solve any new computer science to do this.Nader 引的是寄給 Jensen 與團隊的信裡的一句：這件事我們沒有解出任何新的電腦科學21:50

• it is data center level hardware that's literally can sit on your desk.這是資料中心等級的硬體，卻真的放得上你的桌子24:59

• I think we're in the 90s of the linux operating system我覺得我們正處在 Linux 作業系統的 90 年代26:02

名詞與人物12 個

Nader Khalil

NVIDIA，這場座談的主持

Alex Cheema

EXO Labs 共同創辦人兼 CEO，這場講 Spark 優化經過的人

DGX Spark

NVIDIA 的桌上型機器，跟資料中心一樣是 Grace Blackwell 架構，這場一再拿來當本地的例子

Nemotron 3 Ultra

NVIDIA 的開源模型，Alex 說是 550 billion parameter，在四台 Spark 上跑到每秒 30 tokens

Hermes Agent

NVIDIA 在 Spark 上現有 playbook 用的 agent，這次的優化就在這套上面做

ODS

一位講者自己做的開源部署工具集，在各種硬體上設定 agent 與整套本地環境

GLM-5.2

一位講者眼中本地的重要時刻，品質到了 Opus 等級

speculative decoding

用小模型近似大模型來加速推論的做法，最近冒出好幾種新作法

RSI

recursive self-improvement，模型自己租算力、訓練並部署下一版

SAM3

Joseph 提到的視覺模型，強項是 open vocabulary，所以不建議直接微調

MBARI

Monterey Bay Aquarium Research Institute，最近發現新魚種，用 Roboflow 處理深海影片

Brev

一位講者提到的自家產品，讓人輕鬆租到 GPU，現在也開始服務 agent

提到但沒有展開

• 一位講者分享 NVIDIA 同事試用 ODS 的經驗：裝好先下載一個 2 billion parameter 的小模型讓人開始玩，接著再下載最適合這台機器的下一個模型；講者認為新手上路就該是這種體驗，不要讓人先研究量化。
• 有講者說運算是在東岸發明的，矽谷卻在西岸發生，因為嬉皮發現軟體裡的點子可以免費分享；矽谷就是想賺錢的資本家與想把點子送出去的嬉皮之間的張力，兩邊可以並存，而開源遠比 AI 大。

Agent開源模型產業觀察

在 YouTube 看原片 ↗