你的進度這一站 8 場，你看完 0 場

開放模型的信任、控制與優化

089Carter Abdallah（NVIDIA）43:202026-08-07 上架

Local Models: Trust, Control, Optimization — Carter Abdallah, NVIDIA

Prime Intellect、Arcee 與 NVIDIA 的三位來賓，由 Carter Abdallah 主持，談為什麼要用開放模型：能驗證、成本與資料握在自己手上，還能照 harness 後訓練。

這場講了什麼

信任來自可以檢查：Lucas Atkins 認為開放模型的權重與執行程式碼都看得到，送進什麼、會得到什麼，比打一個黑箱 API 清楚得多。Chris Alexiuk 補充 NVIDIA 會隨模型一起釋出資料集與環境。
控制是成本、資料與授權：單一 token 變便宜，一個 session 用掉的 token 卻暴增，自己握有模型才能預估花費；用開放模型可以把使用軌跡存下來，拿去微調或做環境。Nemotron 與 Trinity 也改用 OpenMDW 授權，明講可以拿輸出訓練模型。
針對場景後訓練：一位講者認為要讓某個場景真的好用，辦法是在那個場景的環境裡後訓練、部署上線，再從正式環境的軌跡持續學習。Lucas 則指出 OpenAI 等公司都替自家產品做客製版模型，開發者也該這樣做。
開放與閉源並存：Chris 拿 Linux 比喻，認為效率優化需要很多人貢獻，關起門來做不到。另一位講者說開放模型像 Linux 那一層，閉源服務對一般消費者仍然方便，自己也幾乎天天用。
一年內的預測：有人預期通用的知識工作 agent 會起飛；Lucas 希望用過 AI 的人裡，有 10% 到 15% 在自己的機器上跑過模型；Chris 認為一年內每天用 AI 做的多數事情不必再打 API。

影片從哪一段開始看19 段

01:20來賓自介Vincent 說 Prime Intellect 從一開始就要讓前沿智慧與訓練它的整套堆疊開放；Lucas 說 Arcee 去年整間公司轉向，花六個月預訓練一個 400 billion 參數的模型，成了開放模型實驗室。
04:19Nemotron 的立場Chris 說 Nemotron 要開放到權重、資料、訓練方法與框架，也相信更快的模型就是更聰明的模型，要能在家用等級的硬體上跑。
06:11開放模型可信嗎Carter 提出有人把開放描繪成比較混亂、比較不可信；Lucas 回答權重與程式碼都能檢視，用的時候要把輸出當成隨機系統的產物，該有的防護照樣要有。
09:06取用有保障Lucas 說 Anthropic 把 Fable 收起來之後，頂尖系統可能不再人人用得到；許多企業轉向中國模型，正是因為確定自己一直拿得到。
10:08公開資料集Chris 說 NVIDIA 會隨模型釋出資料集與環境，讓人看到每個資料集各佔幾兆 token，也能據此形成對模型的預期。
12:00開放的後訓練堆疊Carter 點名 Vincent，Vincent 說 Prime Intellect 補的是 RL 與後訓練的基礎設施，並舉 Ramp 拿開放模型一兩週就專門化成財務自動化，表現更好、成本只有 Haiku 的一小部分。
14:05成本要可預期其中一位講者說單一 token 雖然便宜很多，一個 session 的 token 量卻暴增，有些公司幾個月就把預算燒完，只好少用 Opus；另一位講者說該追求產出的價值，而不是 token 用量。
15:50模型與 harness 合體Lucas 說最有意義的應用是模型、harness 與產品融為一體，舉 OpenAI 的 deep research 為例；另一位講者說 Nemotron 這類模型要兼顧多種 harness，開放模型則能針對單一 harness 後訓練。
19:33控制：資料與輸出其中一位講者說閉源服務靠使用者的資料讓模型變強，服務條款又不准拿輸出訓練；開放模型可以存下自己的軌跡，拿去微調小模型或建環境。
21:28授權條款座談提到 Nemotron 與 Trinity 採用 OpenMDW 授權，用意是講明可以拿輸出來訓練模型。
22:32專門化與優化Carter 說客製得當的開放模型有機會勝過前沿模型；一位講者以會計 agent、銀行的財務 agent 為例，主張在專門領域後訓練、上線，再從正式環境的軌跡持續改進。
26:55不一定需要最強模型其中一位講者說多數人只需要模型把一兩件事做好，開放模型可以專攻那一兩件事，其他能力犧牲掉也無妨。
28:19開放社群與 LinuxChris 說要把模型生態優化到極致只能在開放中做，關起門來會把太多能貢獻的人擋在外面，Linux 就是例子。
29:48閉源也有位置其中一位講者說開放模型像 Linux 那一層，閉源服務像個人用的 Mac，是同一個生態系；Carter 接著說兩者會一直並存。
32:26一年後的預測：能力Carter 請大家大膽預測；其中一位講者說開放模型會更貼近前沿，知識工作的各個領域會出現專用 agent，並說一個月前的 GLM-5.2 像是 Opus 那樣的轉折點。
35:34一年後的預測：普及Lucas 說今年對開放模型影響重大，每天用 AI 的人裡極少數用過開放模型，希望用過 AI 的人有 10% 到 15% 在自己的機器上跑過模型。
38:22一年後的預測：本機Chris 預期一年內 MacBook 就跑得動足以應付日常工作的模型，多個專門模型組成的系統會愈來愈重要，也可能會買到預載 agent 作業系統的電腦。
40:08裝置端運算其中一位講者說模型夠好、手機與筆電的算力也夠強，可能是新的平台轉換；座談也提到現在手機上就能跑 4 billion 參數的模型，比剛問世的 GPT-4 有用得多。
41:33結語Carter 總結開放模型正走進大眾視野，但真正玩過的人還很少，要靠在場的建造者一起推動。

值得記的話5 句

So we kind of have this mantra that faster models are smarter models.Chris：所以我們有個信條，更快的模型就是更聰明的模型05:08
The benefit of open models is that we can very easily validate what is inside of them.Lucas：開放模型的好處是，我們可以很容易驗證裡面有什麼07:55
if their off-the-shelf GPT-5 isn't good enough for their Atlas web browser, why should it be good enough for our apps?Lucas：如果現成的 GPT-5 對他們自己的 Atlas 瀏覽器都不夠好，對我們的應用憑什麼就夠好？16:41
Maybe 0.00001% have ever used an open model, you know?Lucas：在每天用 AI 的 10 億到 20 億人裡，大概只有 0.00001% 用過開放模型吧36:11
As for bold predictions, I think that we will not be needing to go to an API for most of the tasks that we all do each day with AI.Chris：說到大膽預測，我認為我們每天用 AI 做的多數事情，都不再需要打 API38:22

名詞與人物10 個

Carter Abdallah: 這場座談的主持人，任職 NVIDIA
Vincent: Prime Intellect 的創辦人暨 CEO
Lucas Atkins: Arcee 的 CTO
Chris Alexiuk: NVIDIA 的產品研究工程師，負責支援 Nemotron 系列
Prime Intellect: 做 RL 與後訓練基礎設施的公司，目標是讓前沿智慧開放
Arcee: 2023 年初成立，原本做領域專用的客製模型，後來轉成自己預訓練的開放模型實驗室
Nemotron: NVIDIA 的開放模型系列，權重、資料、訓練方法與框架都盡量公開
Trinity: Arcee 的開放模型
OpenMDW: Nemotron 與 Trinity 採用的模型授權，講明可以拿模型輸出來訓練模型
harness: 包在模型外面的 agent 工具與流程；座談的論點是讓模型針對 harness 調整

提到但沒有展開

Chris 預期開放模型會有大的架構轉變，例如把 diffusion 用在文字上，做出更適合家用硬體的模型。
Chris 也預測九月新 iPhone 出來後，很多沒碰過 AI 的家人會來問新版 Siri，就像 DeepSeek 剛出來時那樣。

開源模型產業觀察

在 YouTube 看原片 ↗