多模型路由的現況與取捨

087Nader Khalil（NVIDIA）, Walden Yan（Cognition）, Alex Atallah（OpenRouter）, Tanay Varshney（NVIDIA）, Carter Abdallah（NVIDIA）48:172026-08-06 上架

The State of Model Routing — NVIDIA, Cognition, OpenRouter

NVIDIA、Cognition、OpenRouter 的講者談 model routing：強模型負責規劃、便宜模型負責動手，context 與 cache 怎麼跨模型共用，以及路由會變成產品還是管線。

這場講了什麼

• 強模型規劃、便宜模型實作：Walden 說 Cognition 的 Fusion 把 Fable 級智慧的成本降了 40%。Fable 留著做規劃與困難決策，實作交給開源或較便宜的模型，後者可以放手多開幾個 sub-agent 去探索程式碼。
• 照任務類型分流很脆弱：小模型在某些 benchmark 上贏過前沿模型，不代表可以直接把那類任務全丟給它。Walden 認為任務越 agentic，過程中的複雜度與任務類型變化越大，所以要讓一個前沿模型一直在旁邊盯著，發現小模型力不從心就換手。
• 小模型在分布外會更貴：Alex 說，任務落在訓練分布內，小模型省錢；落在分布外，它會頻繁呼叫工具、陷入迴圈，成本反而上升。例子是在 Terminal-Bench 上，Opus 的表現大約是 Haiku 的三倍，儘管 Haiku 每個 token 便宜很多。
• 外層該用大模型還是小模型沒有定論：Alex 說這是 OpenRouter 內部最大的爭論之一。大模型當外層能吃到 cache 的折扣；他們公開的 deep research 結果是聰明模型當外層最好，coding 則還說不準。
• context 與 cache 是跨模型的主要成本：Walden 說多模型系統很容易變貴，因為每個模型都要重讀一遍檔案。Cognition 的做法是讓大部分 context 只送給一個模型，並用一個持續累積 context 的 sidekick 取代一堆 sub-agent。
• 路由是產品還是管線：Walden 認為新的前沿模型本來就更會委派，Cognition 也在訓練擅長協作的模型。Alex 則說 OpenRouter 的 auto router 到 OpenClaw 出現才真正有人用，並看好簡單、分布內的任務交給小模型的空間。

影片從哪一段開始看20 段

1. 00:12開場與自我介紹主持人 Nader Khalil 說明這場專談 model routing，並提到 NVIDIA 把 Nemotron 從資料集、權重到 recipe 全部釋出。Walden、Carter、Tanay 自我介紹；Walden 說客戶最常問的是哪些任務值得用最貴的模型。
2. 03:23Fusion 把成本降 40%Walden 說 Cognition 的 Fusion 並不是比 Fable 強一截，而是把 Fable 級智慧的成本降 40%：Fable 規劃，實作交給較便宜的模型，後者可以開三個 sub-agent 探索程式碼。
3. 05:46模型各有所長Tanay 提醒 coding 不是單一領域，模型因訓練不同各有強項，coding benchmark 分數高不等於每件事都贏。善用模型的互補，準確度最多可以再高 10%。
4. 08:57按任務分流太脆Walden 說小模型確實用掉更多 token，而單看任務類型就分流，在 agentic 任務上很脆。解法是讓前沿模型一直在旁邊盯著，小模型超出能力時再換。
5. 10:52context 怎麼傳給別的模型Walden 說多模型很容易讓成本變高，所以多數 context 只給一個模型，再把小模型的工作過程壓縮後回報給主模型，做法借自 context compaction。另一位講者補充，路由要以子任務與 session 為單位來看。
6. 13:44外層模型該大該小主持人請 OpenRouter 發言。Alex 說內部最大的爭論之一是外層用大或小，兩種選法結果差很多，連價格影響都說不準，因為大模型當外層能吃到 caching 的折扣。
7. 15:09分布內外決定省不省Alex 說小模型在分布內省錢、在分布外反而更貴，分辨人名或組織名這類任務就該給小模型。OpenRouter 的 Fusion 在做分布內外的判斷，deep research 的結果是聰明模型當外層最好。
8. 18:24sidekick 與 KV cacheWalden 說 Cognition 不用 sub-agent，改用 sidekick：一個持續保有 context 的 sub-agent，cache token 便宜 10 倍，聰明模型與 sidekick 的角色還能互換。
9. 19:13為協作而訓練模型Walden 說 Cognition 兩種 RL 設定都試：訓練模型當 orchestrator，以及當 executor。一位 NVIDIA 講者談到把主模型蒸餾成較小版本，依任務切換由哪個負責解碼。
10. 21:50壓縮有損，檔案系統兜底同一位講者接著問 AST 與 context 壓縮的表示法。有講者用人腦記數字作比方，說 harness 要讓 agent 隨時找得回完整檔案；sidekick 只回報檔案位置時，較聰明的模型讀檔也更省 token。
11. 24:52OpenRouter 的 auto routerAlex 說 OpenRouter 看不到各家的 KV cache，只能把 cache hit 省下的錢全數轉給客戶。auto router 做了快兩年，推出時幾乎沒人用，直到今年一月 OpenClaw 的 heartbeat 讓用量爆開；現在還有 Pareto Code 與 Fusion。
12. 28:52路由的幾種用途有講者整理工作負載從問答、推理一路到 heartbeat。一位 NVIDIA 講者再補上隱私分流（敏感資訊留在本機）與把已買的本地算力用滿。
13. 31:14compaction 不是省錢解法一位講者問自架時能否靠 compaction 把 throughput 拉回來。回答是 compaction 會造成 cache miss，主要目的是維持智慧，不建議用到 200k token 以上，能在 100k 以內更好。
14. 33:13小模型怎麼知道該求援Walden 說很多時候得靠大模型來察覺。cache 本來就得定期刷新，趁那次呼叫順便問前沿模型一次，幾乎是免費的檢查。
15. 34:24cache 時效與自架成本講者們說明 GPU 能同時留住的 cache 有限，所以供應商才收錢；五分鐘是營運上的決定，不是物理定律；自架可以依自己的 workload 優化。
16. 36:39Cognition 直接買算力Walden 回顧 2024 年剛做 agent 時，API 還沒有 cache token 的折扣，Cognition 直接向供應商買算力容量。一位 NVIDIA 講者推薦自架的人試 Dynamo。
17. 38:00用 probe 判斷模型迷路回到 Alex 先前的問題（小模型吐大量 token 時是否該換手），回答的講者說還沒研究過。另一位講者提出 hallucination probe，從模型內部狀態推估它有多迷路。
18. 39:42prompt 不可攜有講者問 prompt 不能跨模型通用怎麼辦。一位講者說 agent 公司的價值在於找出各種 doom loop 與脫困方法，這些都落在 prompt 裡；Walden 想用使用者升降級模型的訊號回頭調路由，也偏好讓聰明模型自己診斷錯誤。
19. 43:03路由是產品還是管線Walden 認為新的前沿模型本來就更會委派，Cognition 也在訓練擅長協作的模型。一位講者說最後需要某種仲裁者，就像網路的流量路由。
20. 46:01未來會不會只剩一個大模型Alex 設想未來可能有一個任何任務都比 Haiku 做得好又更便宜的大模型，但 caching 等因素仍會讓委派有道理。OpenRouter 的公開資料裡，分類任務花費最高的模型是 Opus。

值得記的話5 句

• there's this really unintuitive dynamic where smarter models actually get better and better at delegating work.Walden：有個很反直覺的現象，越聰明的模型反而越來越會把工作委派出去03:55

• this kind of naive initial routing based on the task type is extremely fragile, especially the more agentic the task you work on is.Walden：一開始就照任務類型分流，這種天真的做法非常脆弱，任務越 agentic 越是如此09:34

• opus will do about three times better even though Haiku is significantly cheaper per token.Alex 講 Terminal-Bench：Opus 的表現大約好三倍，儘管 Haiku 每個 token 便宜很多15:26

• It's not obvious that actually more expensive models are actually creating an overall cheaper system.更貴的模型反而讓整個系統更便宜，這件事並不理所當然24:16

• we've had an auto router for like two years almost. But when we launched it, there was like no adoption of it.Alex：我們的 auto router 做了快兩年，剛推出時幾乎沒人用26:33

名詞與人物12 個

Nader Khalil

NVIDIA，這場座談的主持

Walden Yan

Cognition 共同創辦人，公司做 Devin；談 Fusion 與 sidekick 設計

Alex Atallah

OpenRouter，談 auto router、Pareto Code 與 Fusion

Tanay Varshney

NVIDIA，做模型評估並參與打造 router

Carter Abdallah

NVIDIA 的 developer tech engineer，關心怎麼讓更多開發者用得起強模型

Fusion

Cognition 與 OpenRouter 各自推出的多模型路由產品；Cognition 的版本由 Fable 規劃、較便宜的模型實作

sidekick

Cognition 用來取代多個 sub-agent 的設計：單一個持續保有 context 的 sub-agent

auto router

OpenRouter 做了快兩年的模型自動選擇功能，OpenClaw 出現後才真正被大量使用

Pareto Code

OpenRouter 的路由之一，依可調門檻給出 coding 任務的 Pareto 最佳模型

Nemotron

NVIDIA 釋出的模型，從資料集、權重到 recipe 全部公開，方便客製

Dynamo

NVIDIA 講者推薦自架者試用的工具，裡面有很多 prefix cache 優化

context compaction

把長 context 壓縮後交給下一段 agent 或另一個模型；一位講者強調它本質上有損

提到但沒有展開

• Alex 說 OpenRouter 在考慮：cache 還沒用完時，若切換模型的好處夠大，就放棄剩下的 cache，並讓使用者調整容忍度；目前做過一些，但還沒開放給客戶。
• Walden 說現在也在想，能不能把 cache 退到 S3 之類的儲存上，保留更久。

Agent模型開發工具產業觀察

在 YouTube 看原片 ↗