開源模型正在縮進桌機

031Ahmad Osman（Osmantic）18:012026-07-21 上架

The Desktop Frontier — Ahmad Osman, Osmantic

Ahmad Osman 回顧開源模型從 Llama 2 到 GLM-5.2 的進展，預測約 18 個月內單張 RTX 5090 就跑得動 GLM-5.2 等級的智慧，最後問聽眾該不該自己買 GPU。

這場講了什麼

• 預測 18 個月內上桌機：Ahmad Osman 預測，大約 18 個月內，GLM-5.2 等級的智慧可以跑在一張 32 gigabytes VRAM 的 RTX 5090 上，差不多是 2027 年底；而且這是保守估計，可能更快。
• 看每個參數換到什麼：比起模型多大，Osman 更在意 impact per parameter：能做到什麼、要多大的硬體，跟一年前比差多少。前沿與開源之間永遠會有差距，但差距會縮小。
• 舊旗艦被小模型超車：27 billion 參數的 Qwen 3.5 勝過 400 billion 以上的 Llama 3 405B，前後不到兩年。當年要八張 RTX 3090 才載得動 Llama 2 的 70 billion，現在同樣八張能用 Qwen 3.5 27B 跑 15 個 agent。
• 進步不是巧合：研究、效率提升與架構上的技巧一路疊加，而且會繼續疊加。Osman 引用一份談 capability density 的文獻：大約每三個半月，參數就少 50%。
• 自己擁有硬體：個人到企業都該握有自己的模型、硬體與整套技術堆疊；企業從雲端回到自己的機器上，開源模型的提供者才有動機繼續釋出。
• 結尾丟一個問題：Osman 手上的 RTX 3090 一張都不賣，想看一兩年後還能拿來做什麼；最後問聽眾「Should you buy a GPU?」，並強調這不是投資建議。

影片從哪一段開始看13 段

1. 00:12開場與預測這場談本地與開源模型走了多遠；接著提出新預測：約 18 個月內，GLM-5.2 等級的智慧會跑在單張 RTX 5090 上。
2. 01:18差距會縮小過去的故事一直是模型越做越大；Osman 認為前沿與開源永遠有差距，但會縮小，並提出 impact per parameter 這個看法。
3. 02:07小模型勝過舊旗艦以前在 RTX 3090 上跑 Llama 2，現在跑 27 billion 參數的 Qwen，能力已經超過 400 billion 以上的 Llama 3 405B。
4. 02:54本地跑 Claude Code一年前沒有任何本地模型能在 Claude Code 裡順利運作，直到 GLM-4.5 才改觀；現在單張顯卡就夠，本地也有百萬 token 的 context。
5. 04:07為什麼不是巧合進展來自研究、效率提升與不斷疊加的架構技巧，不是大模型在贏，是新而有效率的模型打敗舊而沒效率的；引用文獻說每三個半月參數少 50%。
6. 05:01GLM-5.2 的規模GLM-5.2 總共 744 billion 參數、只啟用 40 billion、支援 1 million context，用 NVFP4 可以跑在桌下的 DGX Station 或八張 RTX Pro 6000 的伺服器上，在一項 benchmark 上勝過 GPT-5.5 extra high。
7. 06:27同樣硬體的差別以前八張 RTX 3090 才載得動 Llama 2 的 70 billion，現在同樣八張能跑 15 個 agent；用少很多的參數得到相近或更好的能力。
8. 07:19主權 AI 與開源誘因原本要資料中心才跑得動的 GPT-4.0 品質，現在 iPhone 上就跑得動；個人與企業都該掌握自己的模型與硬體，開源才有誘因繼續做。
9. 09:09開源模型一路演進從 Mistral 7B、Mixtral 8x7B、Llama 3、Gemma 2 27B、Qwen 2.5 到 DeepSeek R1；Llama 3 405B 被 Qwen 3.5 27B 超越，從 2024 夏天到 2026 年 3 月約 21 個月。DeepSeek R1 之後光靠更多 post-training 又大幅進步。
10. 11:54gpt-oss 的體量變化gpt-oss 120b 是最早能順利做 tool calling 的開源模型之一，大小只有 671 billion 參數的 DeepSeek R1 的五分之一到六分之一，表現相當甚至更好。
11. 12:5227B dense 對 397B MoEQwen 3.6 的 27 billion dense 模型多做一點 post-training，就在各項 benchmark 上勝過大約 15 倍大的 Qwen 3.5 397 billion MoE，這個變化只花了兩三個月。
12. 14:54預測怎麼算出來照趨勢算是 17 個月，而且算得保守；Osman 之前在 12 月預測 Opus 4.5 的品質會跑在單張 RTX Pro 6000 上，到 3 月就成真。
13. 15:43該不該買硬體為什麼要出錢讓別人蓋資料中心、用被補貼的 token，等補貼沒了再處處受限；Osman 以自己不賣 RTX 3090 為例，問聽眾該不該買 GPU。

值得記的話4 句

• there will always be a gap but that gap will shrink差距永遠會在，但會縮小01:36

• newer more efficient models are beating older less efficient ones是更新、更有效率的模型在打敗更舊、效率較差的模型04:25

• We need enterprises for open source AI to win.開源 AI 要贏，我們需要企業08:29

• why are you funding other people to build data centers你為什麼要出錢讓別人蓋資料中心15:43

名詞與人物9 個

impact per parameter

Ahmad Osman 衡量模型的角度：每個參數換到多少能力、需要多大的硬體

GLM-5.2

Osman 口中目前開源這邊最大咖的模型，744 billion 總參數、啟用 40 billion、支援 1 million context

Qwen 3.5 / 3.6

這場反覆拿來比的模型：3.5 的 27B 勝過 Llama 3 405B，3.6 的 27B dense 勝過 3.5 的 397B MoE

RTX 5090

32 gigabytes VRAM 的顯卡，Osman 預測 GLM-5.2 等級的智慧會落腳在這裡

RTX 3090

Osman 家裡有八張，從 Llama 2 一路跑到現在的 Qwen

DGX Station

可以放在桌下的機器，現在就跑得動 GLM-5.2

NVFP4

跑 GLM-5.2 用的格式；也有模型證明能用它訓練，讓微調與專用小模型更便宜

gpt-oss 120b

去年夏天的開源模型，最早能順利做 tool calling 的開源模型之一

sovereign AI

個人與企業自己掌握模型與硬體，不會被收回，也能針對自己的用途優化

提到但沒有展開

• RTX 3090 是 2020 年的 Ampere 架構，現在賣得比原廠建議售價還高，也還有很多用途；Osman 拿它來問：仍在開發中的 Blackwell 架構 DGX Station，幾個月、幾年後能跑什麼。

模型開源產業觀察

在 YouTube 看原片 ↗