AI Engineer Europe 2026 · 演講 · 2026-05-08 · 17 分
ViT 為什麼贏過卷積網路
How Transformers Finally Ate Vision · Isaac Robinson，Roboflow
Roboflow 研究主管 Isaac Robinson 回顧視覺骨幹網路的演進，說明沒有歸納偏置的 ViT 如何靠專屬預訓練與 LLM 的加速工具勝出，以及 Roboflow 怎麼補上部署彈性。
概要
- 兩種設計的對決卷積網路有很強的歸納偏置，ViT 幾乎沒有，運算量還隨解析度長到四次方。Isaac 說結果一如大家預期，是 ViT 贏。
- 贏在預訓練與 LLM 的紅利Isaac 主張原因是針對 ViT 的大規模預訓練，加上能借用 LLM 爆發帶來的加速與基礎設施。
- 各路挑戰者一一回到 ViTSwin 加回區域性、ConvNeXt 把注意力換成卷積，之後的做法則是逐一拿掉偏置、改用預訓練去學。MAE、DINOv2、DINOv3 這類 ViT 專用的預訓練，讓特徵圖本身就很豐富。
- 速度優勢被 flash attention 抵銷Hiera 論文的加速是沒用 flash attention 量的，補上之後差距就不明顯了。SAM 系列也是同樣的軌跡，到 SAM3 乾脆直接用大規模預訓練的骨幹。
- 代價是缺乏部署彈性SAM3 有 800 million 參數、在 T4 GPU 上要 300 毫秒，邊緣裝置用不起。Roboflow 用 RF100VL 評估遷移能力，並用神經架構搜尋從同一個基礎模型產出一整個模型家族。
原話
▶ 02:50“So as everyone would expect, it's the VIT.”
正如大家預期，是 ViT 贏
▶ 07:00“And we're going to use pre-training to learn the bias instead.”
我們改用預訓練去學這些偏置
▶ 11:22“And then SAM3 just gives up on the architecture ablation”
到了 SAM3 就乾脆放棄做架構消融
▶ 12:12“It takes 300 milliseconds to run on a T4 GPU.”
在 T4 GPU 上要跑 300 毫秒
▶ 13:06“And we see about a 40x speedup for the same accuracy versus fine-tuning SAM3.”
準確度相同下，比微調 SAM3 快約 40x
延伸
- ConvNeXt 之後那一步，Isaac 只說是 Meta 做的，沒有說出模型名稱。
- 讓同一個基礎模型長出整個家族的那組旋鈕，Isaac 說全都能直接套進基礎模型的基礎設施，但這場沒有逐一說明。
章節
點時碼直接跳到原片的那一段。
- 開場與講綱Isaac 自我介紹是 Roboflow 的研究主管，並預告演進、勝出原因、後果與下一步四個部分。
- 卷積網路與 Transformer卷積的偏置是不論位置，同一個東西都會亮起同樣的反應；Transformer 則是沒有偏置的集合運算，偏置要另外注入。
- ViT 的做法與代價把圖切成 patch（原版是 16 by 16）、加上學出來的位置編碼就丟進 Transformer；解析度一拉高，運算量長到四次方，結果仍是 ViT 勝出。
- 論點與演進路線Isaac 認為關鍵是 ViT 專屬的大規模預訓練，以及借用 LLM 的加速與基礎設施，並預告 Swin、ConvNeXt 再回到 ViT 的路線。
- Swin在視窗內做注意力，下一層再把視窗位移，視窗大小不隨解析度變時降到 n 平方，也補上區域性偏置。
- ConvNeXt把 ViT 的經驗搬回卷積網路，用卷積取代自注意力來混合空間資訊，Isaac 說這樣跑起來不算快。
- 拿掉偏置換預訓練Isaac 說 Meta 接著拿一個偏置設計得很好的模型，把偏置一個個拿掉換取速度，再用預訓練去學回來，並把這當成偏置與預訓練取捨的好例子。
- MAE 預訓練遮掉一部分 patch 再要模型重建，很像 BERT；這對卷積網路很難套用，是 ViT 專用的技巧。
- DINOv2 與 DINOv3DINOv3 預訓練的 ViT 做 PCA 後特徵圖有語意，自監督學習用 linear probe 衡量已逼近全監督的最佳成績。
- 速度問題與 flash attentionHiera 的加速是沒用 flash attention 量的，補上之後差異不大，Isaac 說到這裡 ViT 算是贏了。
- SAM 系列SAM 的骨幹是以 MAE 預訓練的 ViT；MobileSAM 換成卷積與 Transformer 混合的 TinyViT，SAM2 改用 MAE 預訓練的 Hiera，SAM3 則放棄架構消融，直接放進大規模預訓練的骨幹。
- 代價：沒有部署彈性重度預訓練的花費很大，模型一體適用；SAM3 在 T4 上要 300 毫秒，不適合資源受限的裝置。
- Roboflow 的作法推出 RF100VL 衡量基礎模型在物件偵測的遷移能力。同樣準確度下比微調 SAM3 快約 40x；只求 15x 的加速，準確度則有明顯提升。
- 模型家族與可調旋鈕同一個基礎模型用神經架構搜尋一次產出整個家族，依目標資料與硬體混搭旋鈕，RF-DETR 在發表時勝過當時最佳的即時實例分割模型。
- Q&A：SAM3 的訓練Isaac 以 SAM3 為例：它在影片中追蹤物件，骨幹先做 perception encoder 預訓練，再疊上大量下游訓練。
- Q&A：JEPAIsaac 認為圖像預訓練上 JEPA 沒有勝過其他方法，Video JEPA 也還沒看到有人在影片下游遷移上用得上。
名詞
- inductive bias
- 模型結構本身帶有的假設，例如卷積認定同一個東西不論在圖的哪裡都該有同樣反應
- ViT
- 把圖切成 patch 後交給 Transformer 處理的視覺模型，這場的主角
- Swin
- 在視窗內做注意力並逐層位移視窗的模型，補上區域性偏置
- ConvNeXt
- 把 ViT 的設計經驗搬回卷積網路的做法
- MAE
- Masked autoencoder，遮掉部分 patch 再重建，作法類似 BERT
- DINOv3
- 自監督的 ViT 預訓練方法，特徵圖在 PCA 分解後有語意
- Hiera
- 論文宣稱相同準確度下比 ViT 快的模型，但論文註明沒有用 flash attention 量測；SAM2 用的就是它
- SAM3
- SAM 系列的最新一代，Isaac 說有 800 million 參數
- RF100VL
- Roboflow 推出的資料集，衡量基礎模型在物件偵測上的遷移
- RF-DETR
- Roboflow 發表的模型家族，Isaac 說發表時勝過當時最佳的即時實例分割模型
