AI Engineer Europe 2026 · 演講 · 2026-04-29 · 20 分
訓練前沿小模型的心得
Everything I Learned Training Frontier Small Models · Maxime Labonne，Liquid AI
Liquid AI 的後訓練負責人談端側小模型：為什麼架構要實機量測、預訓練怎麼拉長、後訓練怎麼聚焦，以及小模型特有的 doom loop 怎麼壓下去。
概要
- 小模型不是縮小的大模型Maxime 認為小模型受記憶體限制、知識容量低、任務偏窄，又對延遲很敏感，所以會遇到大模型沒有的問題。
- 架構靠實機量測決定Liquid AI 的 LFM2 在目標硬體上做 profiling，找到 gated short convolution 這個運算單元，Maxime 說它比 sliding window attention 與 gated delta net 快，記憶體也用得少。
- 預訓練可以拉得很長350M 的 LFM 2.5 預訓練用了 28 trillion tokens。Maxime 說性能還會隨 token 數增加而成長，這點跟 Chinchilla scaling laws 的預期不同。
- 後訓練要窄而準他們刻意把資源放在資料擷取與 tool use，程式碼與數學不追求最強。SFT、偏好對齊與強化學習都是範圍越聚焦越有效。
- doom loop 靠後兩個階段處理偏好對齊的資料生成與帶 n-gram 重複懲罰的 RLVR 各解決一部分。Maxime 給的 LFM 2.5 1.2B thinking 數據是從約 15% 到 16% 降到幾乎消失。
- 小模型配上工具會更好用知識不足就接 web search，長上下文不足就用 recursive language model 環境，Maxime 認為小模型該拿來做 agentic 任務。
原話
▶ 08:24“I think it's really nice to try to target some capabilities and not try to be average on everything.”
我認為鎖定幾項能力，比每項都平均更好
▶ 11:10“tiny reasoning models on super difficult math tasks, this is the perfect recipe to have a lot of doom loops.”
很小的推理模型加上超難的數學題，是產生大量 doom loop 的完美配方
▶ 14:29“SFT is not the right stage to fix this.”
SFT 不是修這個問題的階段
▶ 16:02“I think that from experience these tiny models are actually very good at agentic tasks and this is how we should use them”
依我的經驗，這些很小的模型其實很適合 agentic 任務，應該這樣用
▶ 16:55“but everything about this is fixable.”
小模型的這些問題都修得好
延伸
- 團隊正在做 LFM3，Maxime 只說有很多實驗想嘗試，沒有說是什麼。
- 說明 doom loop 比例時，Maxime 拿 Qwen 3.5 0.8B 做對比，但沒有交代測試的條件。
- 偏好對齊用的是 Liquid AI 自己的 length-normalized DPO 演算法，這場沒有展開細節。
章節
點時碼直接跳到原片的那一段。
- 開場與 Liquid AIMaxime 自我介紹是 Liquid AI 的後訓練負責人，公司專做端側模型，涵蓋文字、視覺與音訊，模型放在 Hugging Face。
- 小模型的三個特性受記憶體限制、任務偏窄、對延遲與吞吐量敏感，這些特性彼此牽動，也是整場的主線。
- embedding 層佔太多拿 Gemma 3 270M 與 Qwen 3.5 0.8B 比較，兩者的 embedding 層分別佔 63% 與 29% 的參數，真正用來推理的有效參數比表面上少。
- LFM2 架構與實機量測LFM2 的 embedding 層小很多；團隊在兩種目標硬體上直接 profiling，選出 gated short convolution，在 CPU 與 GPU 上都更快。
- LFM 2.5 訓練流程流程跟別人相近：預訓練加中期訓練、SFT、偏好對齊、強化學習。
- 小模型的長預訓練350M 模型吃了 28 trillion tokens，Maxime 引用上週一篇論文，說明依新的 scaling laws 其實還該訓練更多。
- 後訓練成果與取捨新版在知識、指令遵循、資料擷取與 tool use 的多項基準都明顯勝過 LFM2 350M；團隊刻意只衝特定能力。
- 三個後訓練階段怎麼做階段跟大模型一樣，差別在做法：SFT 要窄、偏好對齊帶來整體改善、強化學習在小尺度也很有效，且對 cold start SFT 資料敏感。
- 什麼是 doom looping模型不斷重複同一串字停不下來，小模型、推理模型與過難的任務湊在一起時最容易發生。
- 解法一：偏好對齊的資料生成約 100 萬個 prompt，每個用溫度取樣產生 5 個回答，再加 1 個溫度為 0 的回答，交給 LLM jury 評分，最高分當 chosen、最低分當 rejected。
- 解法二：RLVR 加重複懲罰沒有最終答案就拿不到正向獎勵，再加一點 n-gram 重複懲罰，並同樣用溫度取樣讓 rollout 多樣。
- doom loop 比例的變化LFM 2.5 1.2B thinking 在中期訓練後約 15% 到 16%，SFT 後幾乎沒動，DPO 後大降，強化學習後近乎消失；Maxime 說 Qwen 3.5 0.8B 推理模式超過 50%。
- 下一步：agentic 強化學習小模型易幻覺，可接 web search；長上下文弱，可用 recursive language model 環境補。Maxime 認為關鍵是推理能力而不是知識量。
- 結論與 LFM3端側模型有獨特挑戰，搭配 agentic 工具表現很好，這方面還沒被充分探索；團隊正在做 LFM3。
- Q&A：何時用小模型沒有網路（如車內）、延遲敏感、受監管的隱私環境適合小模型；最後一題 Maxime 回答，單靠從大模型蒸餾大概不夠，太接近 SFT，還是要另外補。
名詞
- Liquid AI
- Maxime 任職並負責後訓練的公司，專注端側（on-device）模型
- LFM2 / LFM 2.5
- Liquid AI 的模型系列，Maxime 談的架構與訓練流程都以它為例
- gated short convolution
- LFM2 實機 profiling 選出的運算單元，Maxime 說比其他替代方案快
- effective parameters
- Maxime 的用語，指真正用在推理與知識容量的參數，不含 embedding 層
- doom looping
- 模型不斷重複同一串字、停不下來的失敗模式
- LLM jury
- 偏好對齊資料生成時，替每個 rollout 評分的一組 LLM 評審
- RLVR
- 用可驗證獎勵做強化學習，例如數學題必須抽得出最終答案才有正向獎勵
- cold start SFT data
- 強化學習任務所需的暖身資料，SFT 混合資料要先有類似的樣本
- recursive language model
- 一種執行環境，Maxime 說小模型可以在裡面用 Python 繞過長上下文不足的問題
