讓不同模型與晶片分工合作

概要

• 從同質走向異質Adrian 說過去是神經網路縮放定律帶動的同質智慧時代，現在已經看到 mixture of experts、多 agent 系統、prefill decode 分離的硬體，異質化正在發生。
• 異質程度分三階段先是同一批叢集上有不同的 prompt 與子 agent 模型，再來是不同模型跑在不同晶片上，最後是系統、硬體與軟體一起演化。
• 為什麼要異質Adrian 認為現實問題是多步驟、開放式的，拆出來的子問題需要很不一樣的智慧，只擴大單一種智慧既沒效率也不是最佳解。
• 異質遞迴他們把遞迴語言模型的做法延伸，依子脈絡把工作分給不同的晶片與模型。在 Oolong 基準上，跑在 Cerebras 時比 GPT-5.2 便宜 7 倍、快 5 倍。
• 網頁導航也受益用開源與閉源模型混搭，Adrian 說在 video web arena 上勝過 GPT-5.2 與 Gemini 2.5；像放大畫面這類子任務丟給較弱的模型，整體便宜 3.7 倍、快 3 倍。
• 算力的第三階段Adrian 把運算分成 CPU、大規模平行、異質三個時代，並說他們正與英國的 ARIA 合作，拿到 3 million 的補助來建第一個異質共置叢集。

原話

• “scaling a singular type of intelligence to solve these is very inefficient and not optimal.”

  只擴大單一種智慧去解這些問題，效率很差也不是最佳解

  ▶ 03:29

• “There's no downside in constructing this in a heterogeneous manner.”

  用異質的方式來建構，沒有任何壞處

  ▶ 11:39

• “because you don't need GPT to zoom for you.”

  因為放大畫面這種事用不著 GPT

  ▶ 12:14

• “the era of homogeneous scale delivered extraordinary progress we should be grateful for it”

  同質規模擴張的時代帶來了非凡的進展，值得感謝

  ▶ 13:32

延伸

• 遞迴語言模型那篇論文的出發點：就算 prompt 只占 context window 的一小部分，資訊需求一旦隨長度線性或平方成長，表現就會掉到約 60% 到 30%；資訊需求固定的任務才撐得住整個 context。
• 網頁導航那組實驗裡，Adrian 說 Qwen3 VL 8B Instruct 加 Kimi K2.5 的組合比單用 Kimi 快 1.3 倍、比單用 GPT-5.2 便宜 18 倍。