AI Engineer Europe 2026 · 演講 · 2026-05-05 · 18 分
小模型推論的開源缺口
The Small Model Infrastructure Nobody Built (So We Did) · Filip Makraduli，Superlinked
Filip Makraduli 從一次被讀者指出的盲點出發，介紹 Superlinked 開源的小模型推論引擎，涵蓋模型支援與叢集基礎設施兩端。
概要
- 起點是自己漏掉的 inferenceFilip 在 Substack 寫了一篇解釋 flash attention 的文章，被讀者指出忽略了 inference，於是加入 Superlinked 的團隊，邊做邊學模型在正式環境怎麼跑。
- 小模型能幫 agent 管 contextFilip 說 context rot 是做 agent 一定會遇到的問題，用小模型先處理資料、或把小模型當工具呼叫，是管理 context 的一種做法，他們也在電商的 taxonomy classification 用過。
- 多塞 GPU 不是小模型的答案Stella、re-ranker、gliner 這類模型各自只佔幾 GB 記憶體，GPU 容易閒置，所以他們做了在同一張 GPU 上熱切換模型的功能，搭配 least recently used 的淘汰策略。
- 模型支援是第一半BERT、Qwen、ModernBERT 的 attention、normalization、positional embedding 都不同，他們為此重寫 forward pass，並支援可變長度的 flash attention，避免把補齊的空 token 也算進去。
- 基礎設施是第二半API 有 encode、score、extract 三個基本操作，底下有 GPU 資源池、spot instance、用 Prometheus 指標做自動擴縮，並以 Terraform、helm chart 與 docker image 提供，模型推論與叢集兩部分都已開源。
原話
▶ 05:31“having your data being pre-processed is actually making the grepping and file systems that you build even better”
先把資料前處理過，會讓你建的 grep 與檔案系統更好用
▶ 08:42“on the market currently, there is no open source solution that leads you from creating the model inference to actually productionizing this at a scale of this size”
目前市面上沒有開源方案能帶你從建立模型推論一路走到這種規模的 production
▶ 09:50“your inference is worthless if you're not supporting the right models or you're not offering enough breadth of options for your users”
如果沒支援對的模型、也沒給使用者夠多的選擇，你的 inference 就沒有價值
▶ 10:23“for very narrow tasks, open source models are beating managed services”
在非常窄的任務上，開源模型勝過託管服務
延伸
- Filip 說社群也在用小模型處理 context，例如 Andrej Karpathy 用 named entity recognition 產生本體、建成以圖為基礎的知識庫，Chroma 也推出了自己的前處理模型，但都只是點到。
- Filip 說他們和 Chroma 等幾家夥伴試用過這套引擎，但沒有說明試用的結果。
章節
點時碼直接跳到原片的那一段。
- 開場與主題Filip 說這場談小模型 inference，以及他們在市場上看到的缺口，並預告簡報背景圖是個小猜謎。
- 被指出的盲點Filip 的 Substack 文章講了 flash attention 與模型運作，卻被讀者指出漏掉讓模型在現實中變快的 inference。
- 加入 SuperlinkedFilip 承認 production 排程、GPU 路由與自動化是自己的盲點，決定加入 Superlinked 的基礎設施團隊，做出今天軟上線的 repo。
- 三個重點預告三件事：inference 為什麼對 agent 重要、inference 不是什麼、他們怎麼看 inference。
- context rot 與小模型引用 Chroma 的研究談 context rot，說明小模型可做前處理與工具呼叫，並提到社群的做法與他們的電商分類案例。
- 不是多買 GPU傳統想法是多加 GPU 就解決 inference，但這套想法不適用小模型。
- 熱切換模型小模型各佔幾 GB，GPU 容易閒置，他們讓多個模型共用一張 GPU，用 least recently used 淘汰策略切換。
- 不只是 server要上線得自己寫路由、自動擴縮與監控，Filip 說市面上沒有開源方案能從模型推論一路帶到這個規模的 production。
- 陰陽之陰：模型支援Filip 把 inference 比成陰陽兩面，陰是模型支援，要夠廣才有人用，開源小模型在窄任務上的表現也愈來愈好。
- 各模型的 runtime 不同決定支援數百個模型後遇到的難題：BERT 與 Qwen 的 flash attention 實作、normalization、positional embedding 都不一樣。
- 重寫 forward pass沒有一個引擎能通吃這些架構，所以重寫 forward pass，處理 ColBERT 的多向量輸出與 cross encoder 的分數輸出，並做可變長度 flash attention。
- 陽：基礎設施介紹 API 的 encode、score、extract 三個基本操作，以及 GPU 資源池、spot instance 與以 Prometheus 指標自動擴縮。
- 端到端與開源目標是同時給叢集與模型支援，用 Terraform apply 就能起來，並提供 helm chart 與 docker image，兩部分都已開源。
- 背景圖謎底回頭公布簡報背景是 positional encoding 的向量視覺化，呈現正弦波的圖樣，有聽眾答對。
名詞
- Superlinked
- Filip 任職的公司，這場介紹的推論引擎與叢集由它的團隊開發
- Superlinked inference engine
- 針對 AI 搜尋與文件處理的小模型推論引擎，今天軟上線，Filip 說 repo 名稱是 S-I-E
- context rot
- Filip 引用 Chroma 的研究所說的現象：context 增加時，效果會變差
- hot swap
- 在同一張 GPU 上快速切換多個小模型，以提高每張 GPU 的使用率
- least recently used eviction
- 他們內建的淘汰策略，用來決定換掉哪個模型
- Stella / gliner
- Filip 舉的小模型例子，前者是 embedding 模型，後者是 named entity recognition 模型
- ColBERT
- Filip 舉的 late interaction 模型，輸出是多個向量而非單一向量
- variable length flash attention
- 可變長度的 flash attention，讓 token 批次處理時不必補齊而浪費算力
- encode / score / extract
- 這套 API 的三個基本操作
