哈利先介紹 Mira Murati 與她創立的 Thinking Machines，再拆解他們發表的兩篇微調論文和 Tinker 產品，並評論這條路值不值 100 億美金的估值。最後聊 Kimi K2 Thinking。
重點
沒有產品就估到 100 億美金。哈利說 Thinking Machines 成立約半年，只有官網和一段 mission statement，已經融到 20 億美金，估值 100 億美金。團隊來自 OpenAI 與 Meta，John Schulman 也在其中。
Mira 的強項是把組織推動起來。哈利認為她不是技術人員，也沒有特別強的產品感，強的是 people skill，在 OpenAI 擋下微軟的要求、協調內部資源。他也提到她和奧特曼在政變前就處不好。
LoRA 什麼時候可以放心用。Thinking Machines 的 LoRA 研究指出兩個條件：參數容量要裝得下訓練資料的資訊量，而且要套在模型每一層。再加上 learning rate 設成 full fine tune 的 10 倍，表現就會接近 full fine tune。
On-policy distillation 兼取 RL 與 SFT 的長處。學生模型自己解題，老師逐個 token 打分，既有 SFT 密集的回饋，又不被老師的解法綁住。論文的例子說算力比 SFT 省 30 倍，比 RL 省十幾倍。
Tinker 把微調的硬體麻煩包起來。它是微調 API，使用者寫演算法、備好資料，排程、資源分配和故障恢復由 Thinking Machines 處理。哈利說它是兩篇論文的延伸。
哈利的評價是研究很棒，生意存疑。他認為微調是很小眾的市場，撐不起這個估值，Murati 又握有壓過全部董事的投票權；但他欣賞公開透明的研究。最後他也提到 Kimi K2 Thinking 引發的「中國 AI 追上了」討論。
時間軸 點時碼從那一段開始
- 神秘新創的來頭哈利說台灣主流媒體少有報導。公司由 OpenAI 前 CTO Mira Murati 創立，今年年初成立，沒有產品就融到 20 億美金、估值 100 億美金。
- 今天的三個題目先認識 Mira，再看兩篇微調論文與 Tinker，推測公司走向；最後聊上週的 Kimi K2 Thinking。
- Mira 的來歷阿爾巴尼亞人，1988 年出生，拿獎學金到加拿大念書，再到美國念雙學位。2013 年進特斯拉做 Model X 的 PM，2016 年到 Leap Motion，2018 年加入 OpenAI。
- 在 OpenAI 的溝通角色初期職稱是 VP of Applied AI and Partnerships，負責資源與團隊，對外主要和微軟溝通。哈利舉了兩例：擋下微軟想把搜尋連結導向 Bing 結果頁，以及擋下微軟追問模型怎麼訓練。
- 不是技術型的 CTO哈利認為她不是技術人員，也沒有超強的產品感，最強的是 people skill：找對的人、放對位置、給對的資源。
- 與奧特曼的關係政變前兩人就處不好，彼此都質疑對方。奧特曼被開除時她站董事會這邊並代理 CEO，風向轉後改站奧特曼，奧特曼回來後她續任 CTO，衝突沒解決，最後離開。
- 創業班底與不同的使命今年二月創立，Schulman、Bob McGrew 和一些 OpenAI、Meta 研究員跟著加入。其他實驗室喊著要做 AGI 或 ASI，Thinking Machines 講的是讓一般人、研究團隊和中小企業也能懂 AI、用 AI。
- 微調退燒又被拉回來目前焦點是 fine tuning。2023 年 9 月 Mistral 7B 帶起一波熱潮，如今多數公司接 RAG 就夠；但低延遲的小模型、特定領域與資料少的語言仍需要微調。
- LoRA 怎麼運作第一篇是 LoRA Without Regret。LoRA 不動原模型，只訓練兩個低維小矩陣；例子是 10x10 的 100 個參數，換成 2x10 加 10x2 只剩 40 個。訓練出的 adapter 只有幾 MB 到幾百 MB，可以像補充包一樣換。
- Low regret regime 的條件參數容量要裝得下資料的資訊量，並且要套用在每一層而不只 attention；batch size 太大會學不好，最佳 learning rate 是 full fine tune 的 10 倍。
- SFT 與 RL 的優缺點第二篇講 on policy distillation。後訓練常用 SFT 與 RL：RL 能探索新解法，但一題兩千多個 token 只換到一個 bit 的回饋；SFT 回饋密集，卻死板、上限被老師卡住。
- On-policy distillation 的做法學生自己解題，老師逐 token 比較機率分佈並打分，學生向老師靠近。哈利稱它是第三種選擇，不是要取代 RL 或 SFT。
- 論文的實驗數字小模型數學成績原為 60%。SFT 用約 200 萬筆資料到接近 70%；RL 花 18000 個 GPU 小時到 67%；這個方法約 150 steps、差不多 7.7 萬個 prompt 就到 70%。
- Continual learning 的應用先解釋 Dwarkesh Patel 的 continual learning 觀點，哈利說論文的定義有些不同。用公司文件做完 SFT 後模型變得比較不聽話，再以 SFT 前的版本當老師蒸餾，就能兼顧。
- Tinker 產品微調 API：使用者寫演算法與準備資料，排程、資源分配、故障恢復交給 Thinking Machines。最佳做法收進 Tinker Cookbook 這個 GitHub repo。
- 哈利的評論：微調賽道哈利認為微調是小眾市場，價值再大也撐不起 100 億美金的估值。公司並非只做微調，九月也發過其他方向的論文。
- 研究導向與投票權哈利轉述報導，說 Mira 讓研究員自由發展、偶爾輕推。他認為對研究員很好，對公司前景不明確；Murati 的投票權比整個董事會其他人加起來還多，他視為風險。
- 公開研究的新氣象哈利以旁觀者角度覺得超棒，若自己是做微調的公司會欣喜若狂地讀這兩篇論文，稱這是矽谷 AI 公司的新氣象。
- Kimi K2 Thinking 登場回顧 EP97 提過的 Kimi K2，Moonshot AI 上週推出思考版。在 Humanity's Last Exam 以使用工具的設定拿到最高分 44.9，沒用工具則輸；BrowseComp 等 Agentic 類 Benchmark 也拿到 SOTA。
- 4.6M 美金的說法Coding 不是最強，但是開源。CNBC 報導訓練成本只有 4.6M 美金，沒說明來源，也沒說包含哪些部分，哈利指出沒有人知道。
- 不要小看中國哈利不想爭論是否 Frontier，認為只看 Benchmark 不夠。他引黃仁勳說的「China is nanoseconds behind the US」，並提醒台灣人與美國人都不要輕忽。
值得記的話
▶ 12:37「他最強的是他的 people skill 而且是超強的那種」
▶ 53:29「fine tuning，它註定是一個很 niche 的一個市場」
▶ 53:55「你就不是值得 10 billion 100 億美金的一個估值的公司」
▶ 1:02:18「單看 Benchmark 絕對說服力不夠」
▶ 1:03:39「這邊我就只能說真的不要太小看中國」
名詞與人物
- Thinking Machines
- Mira Murati 今年年初創立的 AI 公司，目前焦點是模型微調。
- Mira Murati
- OpenAI 前 CTO，Thinking Machines 的創辦人，持有超級投票權。
- John Schulman
- OpenAI 的 co-founder 之一，隨 Mira 離開，領導微調的研究路線。
- LoRA
- Low Rank Adaptation，只訓練兩個低維小矩陣的微調方法，產出的 adapter 很小。
- Low regret regime
- 論文找到的條件：在這些設定下 LoRA 表現與 full fine tune 差不多。
- On-policy distillation
- 學生自己產生答案、老師逐 token 打分的後訓練方法，哈利稱為第三種選擇。
- Post Training
- 預訓練之後的訓練階段，哈利說近一年大部分模型進展來自這裡。
- Continual learning
- 模型隨時間學到新知識；哈利說論文談的是微調後不變得不聽話。
- Tinker
- Thinking Machines 上個月發表的微調 API。
- Tinker Cookbook
- 收錄微調最佳做法的 GitHub repo，含 LoRA 與 on-policy distillation。
- Kimi K2 Thinking
- Moonshot AI 上週發表的思考版開源模型。
- Dwarkesh Patel
- Dwarkesh Podcast 主持人，認為模型缺乏 continual learning，AGI 還很遠。
延伸
- 哈利提到 EP97（今年 7 月）介紹過 Moonshot AI 的 Kimi K2，可對照這集的 Thinking 版。
- 微調式微的說法，哈利提到 EP107 訪談 Speak 的 CTO Andrew Hsu 時，對方也說不看好 fine-tuning。