Mistral AI

040 · Mistral 為何堅持開源與小模型

32:57YouTube 上架 2023-11-09Arthur Mensch（Mistral AI CEO）

No Priors Ep. 40 | With Arthur Mensch, CEO Mistral AI

Arthur Mensch 談 Mistral 為什麼從壓縮小模型起步、為什麼堅持開源，並逐項回應開源模型的安全疑慮、算力門檻、guardrails 與歐洲 AI 人才。

040 講了什麼

• 從壓縮模型切入Arthur 從 DeepMind 的 retrieval、sparse mixture of experts 與 scaling laws 研究一路走來，認為 Chinchilla 之後模型還能壓得更小。Mistral 7B 小到能在 MacBook Pro 上跑，又足夠有用。
• 推論成本是核心考量Arthur 說，只追求模型表現時可以不管 inference，但要做下游應用就得算執行成本。目標是推論便宜到能跑 agent、把 LLM 用在所有場景。
• 大模型也要做Arthur 說答案顯然是會訓練更大的模型，因為要有更強的推理能力就得往上走；大模型也能用 distillation 或合成資料，幫忙訓練出更好的小模型。
• 開源是為了讓研究繼續流動Arthur 回顧 2020 年以前各實驗室幾乎全部公開成果，之後少數領先的公司轉為封閉。Arthur 認為這會傷害科學，因為記憶、因果、推理這些問題都還沒解決。
• 安全疑慮要逐項拆開看Arthur 認為開源模型沒有讓壞人多出能力，也不認為知識是做出危害的瓶頸，並批評現行的算力門檻很武斷。
• 模型本身不用先變乖Arthur 主張提供未經限制的 raw model，再在輸入與輸出端加上可替換的過濾模組，讓做應用的人自己負責 guardrails。

從哪一段開始看15 段

1. 00:06開場與創業動機Sarah 介紹這集與 Elad 一起訪問 Arthur，以及 Mistral 7B。Arthur 說自己和兩位共同創辦人都很早入行、做了十年機器學習，知道怎麼用較有限的算力與資金做出好模型，也看到在歐洲成立獨立公司的機會。
2. 01:42DeepMind 的研究方向Arthur 出身優化領域，進 DeepMind 時 LLM 團隊只有 10 人。先做 retrieval 增強的模型 RETRO，再做 sparse mixture of experts，用 optimal transport 分配 token。
3. 04:20Chinchilla 的發現大家原本用太少 token 訓練太大的模型，Chinchilla 主張 token 數要跟著模型一起增加。同樣算力下模型更好，服務起來還便宜四倍，所以很快被採用。
4. 05:42把模型壓得更小Arthur 說 Chinchilla 還沒走到頭，Mistral 7B 證明壓縮還有很大空間，是公司第一個成果。
5. 06:45模型大小與推論成本主持人問 Mistral 是否會做 GPT-4 等級的大模型。Arthur 說推論與訓練成本的取捨取決於商業模式，目標是讓推論便宜到能跑 agent；也確定會訓練更大的模型。
6. 09:05資料與標註資料品質是模型好壞的關鍵。Arthur 說預訓練要用最乾淨的資料，指令微調則需要人工或機器產生的標註，團隊在這塊還在加強。
7. 10:25為什麼要開源過去十年的進展來自實驗室間的公開交流，2020 年左右開始轉向封閉。Arthur 認為技術還不成熟，需要更多人公開嘗試，並感謝 Meta 往開放方向走。
8. 13:57開源與安全主持人指大公司說開源危險像是 regulatory capture。Arthur 用務實角度檢驗：開源模型沒有讓壞人多出能力，也沒證據顯示 LLM 比搜尋引擎更有幫助。
9. 17:09算力門檻Arthur 認為門檻很高也很武斷：以最不利的 float 64 假設來算，大約是 300 million 的 last run compute，Mistral 未來幾年都負擔不起；沒有證據顯示超過 10 的 26 次方就會出現危險能力。該衡量的是能力，而不是 flops。
10. 19:32生物武器敘事從哪來曾當過近十年生物學家的主持人問，為何大家都盯著 bioweapon。Arthur 說自己沒有答案，推測是從 GPT-4 技術報告附錄裡一筆化合物的記錄開始，後來政策文件一篇引一篇，堆成了這個敘事；COVID 的創傷也有影響。
11. 22:38Guardrails 的做法Arthur 說模型應該知道所有事，再用模組過濾輸入與輸出；做應用的人要遵守規則，由此形成 guardrails 供應商之間的競爭。
12. 25:34三類風險主持人把風險分成內容審核、實體風險、存在性風險三類。Arthur 說三類要分開談：第一類有解法，第二類沒有證據，第三類太抽象。
13. 27:40讓 agent 可行主持人問什麼會加速 agent。Arthur 說把模型做小是一條路，用 GPT-4 跑 agent 很快就燒光預算，成本除以 100 才做得出更有意思的東西；目前 agent 容易陷入重複的迴圈，推理與依難度調整算力是研究方向。
14. 28:57平台與 APIMistral 在做高效的 inference 程式碼與平台。除了自架給企業客戶，也提供 API，讓想先試用的人分時共用，單張 H100 就能服務數百個客戶。
15. 30:49歐洲的 AI 生態Arthur 認為歐洲的優勢是人才：法國、英國、波蘭擅長培養數學家，而數學家很適合做 AI。巴黎現在有數百家新創，生態系開始運轉。

值得記的話5 句

• instead of training very large models on very few tokens you should actually grow the number of tokens與其用很少的 token 訓練很大的模型，應該讓 token 數隨模型一起增加04:53

• the few companies that have the money to spend have now refuse to communicate有錢花的少數公司現在都不肯公開交流12:36

• assuming that the model should be well behaved is I think a wrong assumption我認為，假設模型本身就該乖乖的，是一個錯誤的假設23:59

• as a scientist I trust only what I can see身為科學家，我只相信我看得到的東西；這句是在談存在性風險27:40

• making a model smaller is definitely a way to make agent work把模型做小，絕對是讓 agent 可行的一條路28:10

名詞與人物10 個

Arthur Mensch

Mistral 共同創辦人兼 CEO，之前在 DeepMind 做 LLM 研究，是 Chinchilla 論文的共同作者。

Mistral 7B

Mistral 發布的 7 billion 參數模型，Apache 2 授權的開源模型，小到能在 MacBook Pro 上跑。

Chinchilla

Arthur 參與的 scaling laws 論文，主張訓練 token 數要隨模型大小一起增加。

RETRO

Arthur 在 DeepMind 共同發表的 retrieval 論文，預訓練時使用大型資料庫當外部記憶。

sparse mixture of experts

把 token 分配給不同專家的架構，Arthur 用 optimal transport 處理分配問題。

optimal transport

數學框架，這裡用來把 token 指派到裝置，避免單一裝置收到太多。

distillation

用大模型幫忙訓練出更好的小模型的技術。

raw model

沒有為了禁止某些輸出而被調整過的模型，Arthur 主張應該先提供這種版本。

guardrails

加在模型輸入與輸出的過濾模組，由做應用的人選用。

regulatory capture

主持人用來形容大公司推動限制開源，好讓自己控制產業。

提到但沒有展開

• Arthur 說 bioweapon 的敘事成形時，開源社群因為沒料到而不夠大聲，現在情況正在改變；也認為下一場疫情的源頭會是氣候變遷，不會是 AI。
• Arthur 提到這些論點在 AI Safety Summit 上也討論過，並說隨模型能力成長，現在的前提需要重新檢視。

在 YouTube 看原片 ↗