Google 發表 TurboQuant 後美光股價重挫。哈利拆解它壓縮 KV cache 的做法，估出整體推論記憶體大約只省 35%，認為市場殺過頭了。
重點
只壓 KV cache，不是壓模型。TurboQuant 針對 AI 推論時暫存的 Key 和 Value 做量化。哈利指出，網路上說它能讓模型變小、能提升訓練效率，都是誤讀。
兩招省掉量化的額外開銷。先把所有向量旋轉到容易量化的分布，就不必分 block、不用每塊另存 scale 和 zero point；再用 QJL 把殘差存成一個 bit 的正負號，補內積的誤差。他說傳統做法每個數值會多存 1 到 2 個 bit，TurboQuant 能省掉約 80% 的這類開銷。
6 倍是比較基準的問題。Google 部落格的標題是 6 倍壓縮，比的是完整 16-bit 的 KV cache。哈利認為業界多半已經量化到 8-bit，實際接近 3 倍，再用 GB200 NVL72 估算，整體推論的記憶體只省約 35%。
35% 對大公司仍然有價值。可以多服務約 35% 的用戶，或把多出來的容量拿去做別的事，也可以支援更長的 context。他說這是粗估，不是精算。
記憶體股不該因此大跌。HBM 嚴重短缺且至少兩年難解，加上只要算力需求還在成長，效率提升都會被拿去擴張。他把這次的下殺比作去年年初殺 DeepSeek，也說自己打算加碼美光。
車禍求償的通識。片尾的贊助訪談裡，受訪的業者解釋賠償金額看總損害乘上責任比例，初判表上的違規不等於肇事責任，求償時要把財物、受傷、已發生、未來四類損害逐筆列出來。
時間軸 點時碼從那一段開始
- 美股下殺與美光的第三個壞消息過去一週科技股跌得慘，美光除了戰爭帶來的通膨與聯準會不確定性、市場對 AI 資本支出的懷疑，還多了 Google 發表 TurboQuant 這一擊。
- 展覽、獲獎與先發文那週哈利在花博的 AI Expo 拜訪廠商，節目拿到年度卓越創作者獎，所以先發文打預防針，之後才花時間研讀。他發現媒體報導大多不精準，本集分技術原理、成果、產業影響三部分。
- TurboQuant 在做什麼它是更好的 KV cache 量化手段，優點是額外開銷更少、失真更小。哈利順帶澄清它不會讓模型變小，也不是用在訓練。
- 向量與量化的概念AI 只處理向量，KV cache 存的就是每個 token 的 Key 和 Value 向量。量化是把 16-bit 的數字改用 4-bit 或 8-bit 存，用把球分進 16 個桶子來比喻。
- 分 block 與額外開銷每個 block 要另存 scale 和 zero point，這些 quantization constant 得維持至少 16-bit。以 64 個數字、每個 4-bit 算，額外開銷佔約 11%。
- 第一步：旋轉向量把所有向量用同一個旋轉矩陣轉一遍，長度和相對位置不變，分布卻變得集中可預測，就能套用預先設計的 quantizer 一次量化，不必再分 block。
- 第二步：QJL 補內積誤差AI 運算一直在算內積，所以只要內積準，絕對數值不準也無妨。做法是把殘差存成一個 bit 的正負號，更細的數學哈利說自己也沒讀得很懂。
- 成果：額外開銷與失真傳統做法每個數值多存 1 到 2 個 bit，TurboQuant 減少約 80% 的 memory overhead。Google 自己的分析認為它的失真已接近資訊理論的最佳值。
- LongBench 與 Needle in a HaystackKV cache 壓到 3.5-bit，準確度和 16-bit 幾乎沒差；壓到 2.5-bit 才開始有損失。Needle in a Haystack 的得分兩邊都是 0.997。
- 6 倍從哪裡來6 倍是 Google 部落格的標題，比較對象是完整 16-bit 的 KV cache，壓到 3-bit 再加上省下的 overhead，才說得上接近 6 倍。哈利質疑拿 16-bit 當基準是否合理。
- 業界實際已經量化模型權重幾乎都量化過，TensorRT LLM 和 vLLM 也支援 8-bit 的 KV cache 量化，4-bit 還偏實驗性質。哈利猜大廠都已用到 8-bit，所以實際提升接近 3 倍，不是 6 倍。
- 用 GB200 NVL72 估算總 HBM 13.8TB，扣掉權重和其他開銷，剩約 10TB 給 KV cache，以 70% 利用率算是 7TB，縮小 3 倍後省下 4.7TB，約佔總量的 35%。
- 35% 的商業意義對 OpenAI、Anthropic、Google 這類大公司仍然很有價值：同樣硬體多服務用戶、多出容量做別的事，或支援 1 million、2 million 的 context。哈利也感嘆 Google 又把成果免費送出。
- 為什麼記憶體股不該跌美光一週約跌 20%，哈利認為完全不合理。HBM 嚴重短缺，美光 2026 全年的 HBM 產量據他聽到的從 2025 年底就賣光，擴產受機台、土地與電力限制，短缺至少兩年。
- 效率提升只會被拿去擴張2023 年以來各種技術疊加，效率提升幾百倍，算力需求卻漲了幾萬倍以上。35% 不可能緩解晶片短缺。
- 類比 DeepSeek 與公開談投資哈利把這次下殺比作去年年初殺 DeepSeek，說他週一晚上會加碼美光，並表示以後會更坦白分享自己的投資操作，但一切不是財務建議。
- RabbitQ 作者的質疑RabbitQ 作者質疑論文沒有好好引用他們，比較結果也不公正。哈利認為這只是學術嚴謹度問題，不影響 TurboQuant 技術本身。
- 車禍求償訪談的開場最後一段是贊助段的訪談：哈利訪問一位做車禍法律服務的業者，先拿家人的一次車禍調解當例子。對方第一個提醒是騎車開車都要有責任險，不能只有強制險。
- 責任比例與初判表能拿到多少，看總損害乘上責任比例。初判表只寫誰違規，但違規不等於肇事責任，例如騎無牌機車被人從後面撞；到了鑑定才會分開判。判決出來之前談的空間最大，一路往上打不一定比較好。
- 先算出合理金額先算合理金額再略往上喊，用二乘二的表格列損害：財物和受傷、已發生和未來（例如之後要拆鋼釘、車子撞過的折價）。拖太久傷勢與金額都可能變，能和解越早通常越好。
- 做筆錄的講法多講一句就可能多背責任：說「我沒看到」等於承認沒注意車前狀況，還沒到路口就說要左轉也可能被認定已在偏移。他建議照實說有看到，並講出為什麼自己有路權；筆錄也可以跟警察另約時間。
值得記的話
▶ 26:27「這個 TurboQuant 真的是一個貨真價實的技術絕對沒有灌水」
▶ 34:35「35% 是非常有意義的是有極其巨大的價值的一個數字」
▶ 37:28「我覺得這個 TurboQuant 的技術一點都不會影響到記憶體公司一點都不會，完全不會」
▶ 40:01「任何形式的效率提升都會被拿去擴張，而不是被拿去縮編」
▶ 42:21「過去這幾年 AI 效率都提升了幾百倍都沒有辦法緩解我們對於 AI 晶片的需求」
名詞與人物
- TurboQuant
- Google 發表的量化技術，針對 AI 推論時的 KV cache 壓縮，用旋轉向量加 QJL 兩步驟。
- KV cache
- 推論時暫存下來的 Key 和 Value 向量，每產生一個新 token 都要重複使用。
- 量化
- 把原本用 16-bit 存的數字改用 4-bit 或 8-bit 存，換取更少的記憶體，代價是損失一些資訊。
- quantization constant
- 分 block 量化時，每個 block 要另存的 scale 和 zero point，至少要用 16-bit 存。
- QJL
- TurboQuant 的第二步，把殘差存成一個 bit 的正負號，專門補內積的誤差。
- HBM
- High Bandwidth Memory，AI 晶片用的高頻寬記憶體，哈利說目前嚴重短缺。
- GB200 NVL72
- NVIDIA 的伺服器機櫃，哈利說總 HBM 為 13.8TB，用它來估算省下多少記憶體。
- LongBench
- 測長上下文能力的 benchmark，用來看 KV cache 壓縮後品質有沒有掉。
- Needle in a Haystack
- 在很長的文章裡藏線索、要模型找出來的測試，另一個長上下文 benchmark。
- RabbitQ
- 另一個量化技術，它的作者質疑 TurboQuant 論文引用與比較不夠公正。
- 美光
- 三間做 AI 記憶體的公司之一（另兩間是 Samsung 與 SK Hynix），這次股價下跌的主角。
延伸
- 哈利提到去年年初市場殺 DeepSeek 的反應，和這次殺記憶體股的邏輯一樣。
- 他說之後如果科技議題碰到投資，會多分享自己的操作並事後檢討看對看錯。