AI Engineer Europe 2026 · 演講 · 2026-04-10 · 10 分
DGX Spark 本地跑 LLM 的實測數字
Running LLMs locally: Practical LLM Performance on DGX Spark · Mozhgan Kabiri chimeh，NVIDIA
NVIDIA 的 Mozhgan 用自動化 benchmark 量 DGX Spark 上 Qwen 系列模型的吞吐量與首 token 延遲，看 NVFP4 量化在單機上換來多少。
概要
- 本地開發的兩個卡點Mozhgan 認為開發者常遇到記憶體不夠、或拿不到對的軟體堆疊，最後只能把工作全推到雲端或資料中心，迭代速度就受制於共用資源。
- DGX Spark 的定位搭載 GB10 Grace Blackwell Superchip、128 GB 統一記憶體並支援 FP4，Mozhgan 說可在本機處理最大約 200 billion 參數的模型；重點不是取代雲端，而是把開發拉近開發者。
- 可重現的量測流程用 vLLM 服務多種大小的 Qwen 模型，從 1.5 billion 到 14 billion，每次執行都經過 Docker 隔離，並留下帶時間戳記的版本化結果。
- 吞吐量隨模型變大急遽下降1.5 billion 的 instruct 模型是每秒 61.73 個 token，14 billion 的 base 模型只剩每秒 8.40 個；NVFP4 模型在大約十倍大的情況下仍有每秒 20.19 個。
- NVFP4 讓首 token 更快14 billion 的 NVFP4 模型首 token 延遲比未最佳化的 14 billion base 模型快 3.4 倍。
- 容量不等於頻寬128 GB 讓大模型放得下，但吞吐量仍取決於記憶體資料搬動的效率，所以 Mozhgan 把 NVFP4 稱為「英雄」。
原話
▶ 00:22“it's a data fact journey through the trade-offs of modern AI infrastructure”
這是一趟靠數據走過現代 AI 基礎設施取捨的旅程
▶ 07:34“Time to first token is the metric that defines user experience.”
首 token 時間是決定使用者體驗的指標
▶ 08:33“memory capacity is not the same as the memory bandwidth”
記憶體容量不等於記憶體頻寬
▶ 09:09“It effectively increases our intelligence per byte, allowing the 14 billion model to feel as responsive as much smaller one.”
它實質提高了每個 byte 的智慧，讓 14 billion 的模型反應起來像小得多的模型
延伸
- 測試涵蓋 instruct、base 與 NVFP4 等變體，這場只唸出 1.5 billion instruct、14 billion base 與 NVFP4 幾個模型的數字，其他的沒有唸出來。
- Mozhgan 說 DGX Spark 跑的是和 DGX Cloud 同一套軟體堆疊，本機做好的東西搬上雲端不太需要改。
章節
點時碼直接跳到原片的那一段。
- 開場與主題Mozhgan 自我介紹是 NVIDIA 的 Developer Relations Manager，說明這場根據實驗數據，看單一系統上實際可行的做法。
- 本地開發的難處記憶體不夠或沒有對的軟體堆疊，加上成本、資料落地與延遲的考量，讓工作被推到雲端；Mozhgan 問能否把部分流程拉近開發現場。
- DGX Spark 規格GB10 Grace Blackwell Superchip、128 GB 統一記憶體與 FP4 支援，可在本機處理最大約 200 billion 參數的模型，且跑與正式環境相同的軟體堆疊。
- 測試環境一切在本機執行且可重現，用 vLLM 服務不同大小的 Qwen 模型，讓環境與資料中心部署一致。
- 自動化 benchmark harness每個模型從 1.5 billion 到 14 billion 都走同一套嚴格流程，用 Docker 隔離環境，orchestrator 腳本為每次執行建立帶時間戳記與模型 ID 的目錄。
- 量測邏輯：首 tokenMozhgan 認為首 token 時間決定使用者感受到的反應速度，並說明腳本如何替串流回應的第一個 chunk 打時間戳記。
- 實驗設定在 DGX Spark 上用 vLLM 測從小型 instruct 模型到較大的最佳化版本，全部在本機服務，目標是了解開發流程中的實際表現。
- 吞吐量：小模型長條圖顯示每秒完成 token 數；最左邊的 1.5 billion instruct 模型是每秒 61.73 個。
- NVFP4 的甜蜜點一個 NVFP4 模型比 1.5 billion 模型大近十倍，仍有每秒 20.19 個 token，Mozhgan 說這比一般人的閱讀速度還快。
- 吞吐量隨規模下滑14 billion base 模型降到每秒 8.40 個；Mozhgan 強調量化格式的選擇和硬體一樣重要。
- 首 token 延遲Mozhgan 說 DGX Spark 的反應速度很好，模型越大首 token 越慢是預期中的事。
- 14B：NVFP4 對 base14 billion NVFP4 模型的首 token 比未最佳化的 14 billion base 模型快 3.4 倍。
- 容量不等於頻寬128 GB 記憶體能放下最大約 200 billion 參數的模型，但吞吐量仍看效率；NVFP4 提高每個 byte 的「智慧」，讓 14 billion 模型反應像小得多的模型。
- 適用情境與收尾Mozhgan 建議用在穩定負載、隱私敏感資料與快速原型，可在本機建置與微調，之後再擴充到雲端。
名詞
- DGX Spark
- NVIDIA 的桌上型系統，Mozhgan 拿來在本機跑與測試模型
- GB10 Grace Blackwell Superchip
- DGX Spark 的核心晶片，結合 CPU 與 GPU 並採統一記憶體架構
- NVFP4
- NVIDIA 的 4-bit 浮點量化格式，這場的實測主角
- vLLM
- Mozhgan 用來在本機服務各個模型的推論伺服器
- Qwen
- 這場測試用的模型系列，從 1.5 billion 到 14 billion
- time to first token
- 串流回應中第一個 token 出現的時間，Mozhgan 視為使用者感受到的反應速度
- completion tokens per second
- 每秒產生的 token 數，也就是這場說的吞吐量
