壓縮與量化讓大模型跑上邊緣裝置

088Chris Alexiuk（NVIDIA）, Daniel Han（Unsloth）, Asma Beevi（NVIDIA）, Merve Noyan（Hugging Face）, Parth Sareen（Ollama）46:002026-08-07 上架

Compression at the Edge — NVIDIA, Unsloth, HuggingFace, Ollama

Chris Alexiuk 主持，Unsloth、NVIDIA、Hugging Face、Ollama 四位講者談模型壓縮：為什麼要壓、怎麼確認壓完沒壞、新架構讓量化變多難，以及接下來會往哪走。

這場講了什麼

• 壓縮不是白送的：有講者把壓縮定義成「縮小但不掉資訊」，同時強調沒有免費的午餐。Daniel 舉例 GLM-5.2 約 1.5 terabytes，量化後可縮到 250 GB。重點在挑對的層下手，Daniel 說把重要的層留在 16 bit、其餘壓到 1 或 2 bit，仍能保住 76% 的準確度。
• 驗證靠跑分，也靠手感：Asma 說 NVIDIA 的 FP4 檢查點目標是整體準確度掉不到 1%，最花時間的反而是評估。Parth 則提醒，把模型接進 coding agent 實際用，有些問題 benchmark 看不出來。
• 大模型壓小，比小模型原尺寸划算：Daniel 引用一篇論文，同樣的磁碟空間，120 billion 的 4-bit 模型比 35 billion 的 16-bit 模型聰明。小模型的好處是快，壓過的大模型在缺 GPU 時可能只有每秒 5 到 10 個 token。
• 新架構讓舊經驗失效：hybrid attention、linear attention 讓過去的量化經驗不能直接套用。Daniel 說 linear attention 層壓下去，短測試看起來正常，跑長上下文就變亂碼；MoE 層卻可以壓到 1 bit。
• 做 QAD 要有對的資料：Asma 說大中型模型做 post-training quantization 通常開箱即用，較小的模型要靠 quantization-aware distillation 補回準確度，資料用錯反而會弄壞模型。
• 下一步是更廣的壓縮：講者們提到 KV cache 壓縮、activation sparsity、把智慧放到手機上，以及讓使用者在自己的裝置上掌握模型。

影片從哪一段開始看17 段

1. 00:12主持人與來賓介紹Chris Alexiuk 主持，來賓來自 Unsloth、NVIDIA Model Optimizer、Hugging Face 與 Ollama。
2. 01:01各自怎麼定義壓縮有人說壓縮讓大模型在小機器上跑得動，有人說沒有免費午餐；Daniel 講到 GLM-5.2 縮小 86% 但不會變笨，另一位以 FP32 到 FP4 為例說「同樣成本、更多智慧」。
3. 04:48Daniel：DeepSeek R1 的啟發DeepSeek R1 太大、本地跑很麻煩，Unsloth 試著只量化部分層，1.58 bit 的版本居然能用。
4. 06:34Asma：從剪枝到 NVFP4先做過剪枝，後來發現量化掉的準確度少，加入 NVIDIA 後參與 NVFP4 的實驗。
5. 08:14Merve：QLoRA 與 llama.cppQLoRA 讓 Colab T4 能微調；後來在 llama.cpp 上用 Qwen 3.6 的量化版跑 OpenClaw 與 Hermes agent 的長任務。
6. 09:37Parth：從 Ollama 入門2023 年還在念書時用 Ollama 在自己電腦上跑模型，才覺得本地模型是可行的。
7. 11:53縮小 86% 怎麼不變笨Daniel 說各層重要性不同、很多權重接近零，要逐層分析；又引 superweights 論文，說量化錯一個數字模型就笨 20%。
8. 14:48Asma：NVIDIA 怎麼評估跑完整的 benchmark，FP4 目標準確度損失小於 1%；linear attention projection 與 QKV 層很敏感，並用梯度敏感度分析配合 linear programming solver 決定精度。
9. 16:44NVFP4 是什麼4-bit 浮點數加 micro-block scaling：每 16 個元素共用一個 FP8 的縮放值，原始設計來自 bitsandbytes 的 Tim Dettmers。
10. 18:00企業為什麼也要壓縮Parth 說要讓人在各種硬體上都跑得動，但不能只看 benchmark；Merve 說多數工作用不到 Fable 等級的模型，壓縮與蒸餾能提高併發量、支援自架。
11. 21:33為什麼不直接用小模型Daniel 說同樣空間下大模型量化後更強，模型只會越來越大；小模型勝在每秒可到 200 個 token，也可用大模型規劃、小模型執行。
12. 24:26Ollama 的位置Parth 說壓縮讓 Qwen 3.6 能在個人電腦上跑 OpenClaw，另提到 QAT 與 GPT-OSS 的 MXFP4。
13. 26:13開源社群與壓縮Merve 說訓練過 256M 與 500M 的小 VLM，500M 能在 iPhone 上跑；Qwen 3.6 只釋出一個檢查點時，大家要的是中型模型，再自己量化。
14. 28:54做出 NVFP4 有多難Asma 說 post-training quantization 在 Blackwell 上幾小時就出檢查點，真正耗時的是評估；較小的模型要靠 QAD，資料不對會弄壞模型。
15. 32:45新架構讓量化更麻煩Parth 說要先實作模型、再挑適合的量化；小模型壓太低品質差，預設會留高精度。Daniel 說 linear attention 層壓下去會出問題，但對架構多樣樂見其成。
16. 37:28未來六到十八個月一位講者說模型廠開始自己推出 QAT；Merve 看好靠 llama.cpp 讓智慧走向手機；Asma 預期 KV cache 壓縮與 activation sparsity；最後一位講者期待最強模型能在自己的裝置上跑。
17. 44:18Q&A：如何挑量化版本有聽眾問怎麼找到適合自己用途的量化版；一位講者說目前沒有完整的做法，自己團隊偏好用 KL divergence 衡量量化版與 BF16 的輸出差距。

值得記的話5 句

• there is something called a superweights paper which shows that if you quantize one number, just one, of the entire model, your model becomes 20% dumber.有一篇 superweights 的論文指出，整個模型只要量化其中一個數字，模型就會變笨 20%14:15

• It's like, no, it doesn't feel just right.Parth 講把模型接進 Claude Code 實際跑的感覺：就是覺得哪裡不對19:04

• If we do QAD with the wrong data, it most commonly breaks the model rather than helping it.Asma：如果用錯資料做 QAD，多半是把模型弄壞，而不是幫上忙31:56

• when you actually use the model in real production, it becomes gibberish.Daniel 講量化 linear attention 層：真的拿到正式環境用的時候，它就變成亂碼36:38

• now you can control your own destiny. You do not need to be, you know, controlled by some model labs.一位講者講未來的樣子：現在你可以掌握自己的命運，不必被模型廠牽著走42:22

名詞與人物11 個

dynamic quantization

Unsloth 的做法：多數層壓到 1 或 2 bit，重要的層留在 16 bit

NVFP4

NVIDIA 的 4-bit 浮點格式，每 16 個元素共用一個 FP8 縮放值

superweights

一篇論文的概念：量化整個模型中的某一個數字，模型就會明顯變差

PTQ

post-training quantization，拿釋出的 BF16 模型直接做量化

QAD

quantization-aware distillation，較小模型用來補回準確度，需要合適的資料

NVIDIA Model Optimizer

NVIDIA 的模型最佳化團隊與工具，在 Hugging Face Hub 上發布量化檢查點

KL divergence

Q&A 裡一位講者偏好用來比較量化版與 BF16 輸出差距的指標

llama.cpp

本地推論專案，Merve 說 Hugging Face 已收購（原話為 kind of acquired）

KV cache

Asma 預期下一步會被壓縮的對象，目前多數人用 8-bit

Unsloth

Daniel 所屬團隊，做模型量化與相關工具

Ollama

Parth 所屬團隊，讓人在本機執行模型的工具

提到但沒有展開

• Asma 提到 NVIDIA 硬體早就支援 sparsity，但因準確度掉得比量化多，一直沒普及；在 Rubin 上會有 activation sparsity，可改善 attention 的運算。
• Merve 提到 Cohere 去年一篇論文指出 arena 類評比容易被操弄，所以「quant arena」不是好方向。
• 回答 Q&A 的講者推薦 *accuracy is not all you need* 這篇論文，了解為什麼用輸出 logits 的距離衡量量化品質。

模型開源評估

在 YouTube 看原片 ↗