155 · 讓 AI 接上原子世界
AI for Atoms: How Periodic Labs is Revolutionizing Materials Engineering with Co-Founder Liam Fedus
Liam Fedus 從物理、Google Brain、ChatGPT 一路走到 Periodic Labs,說明為什麼 AI 要接上實驗與物理世界,以及資料、架構、資本和自我改進怎麼看。
155 講了什麼
- 為什麼是原子Liam 認為科學不能只靠想,要做實驗、從中學習;2022 年的模型還太弱,推理、test time inference、可靠的工具使用與 coding agents 出現後,才有條件把系統接到物理世界。
- 資料靠實驗接地既有模型提供先備知識,但文獻裡同一個材料性質的回報值可以跨好幾個數量級。實驗資料給了地面真相,而且是反覆檢查、再決定下一輪實驗的閉環。
- 語言模型當調度層Periodic 用語言模型指揮實驗、整理文獻與資料,另外訓練針對原子系統設計、具對稱性意識的 neural nets,當工具也當 reward function。
- 先當軟體,再看發現Periodic 先把自己當第一個客戶,對外想成企業的智慧層與實驗的控制平面;Liam 也說某些突破的價值很高,之後可能更像 biotech 的發現模式。
- 成本主要是算力Liam 說資本主要花在算力,實體設施的花費有時反而比較低,但建置時間長、系統要調得準也不容易。
- 自我改進有領域限制Liam 認為軟體工程的自我改進現在就在發生,因為驗證便宜;AI 研究的外圈較慢,科學與工程則要靠接上物理世界的閉環。
從哪一段開始看16 段
- 00:05開場與來賓介紹主持人介紹 Liam Fedus:ChatGPT 的共同打造者之一、前 OpenAI post-training 副總;Liam 創辦的 Periodic Labs 要替原子世界打造 AI foundation lab。
- 01:08物理背景與物理學家Liam 大學主修物理、做過暗物質研究;談為什麼這麼多物理背景的人進了 AI。
- 02:38從 Google Brain 出發研究所時一直被機器學習問題吸引,2016、2017 年進 Google Brain,做架構與 sparsity,看著分散式訓練、mixture of experts、transformer 出現。
- 04:11OpenAI 與 ChatGPT2022 年底轉到 OpenAI,當時的目標是把 GPT-4 做成產品;John Schulman 主張走通用的 chatbot。
- 05:13為什麼回到原子科學不能只靠坐著想,要做實驗;2022 年的模型太弱,推理、test time inference、可靠的工具使用與 coding agents 是後來才補上的條件。
- 06:31資料從哪裡來靠既有模型帶來的先備知識,加上模擬與實驗;Periodic 不花力氣改進 coding 模型,只集中在現有前沿不夠好的地方。
- 08:52實驗資料與閉環文獻抽出的材料性質值跨好幾個數量級,實驗資料才能當地面真相,重點是不斷回頭驅動下一輪實驗的閉環。
- 09:54跨領域的泛化主持人拿 AlphaFold 比較;Liam 說資料充足的領域進步最快,受量子力學支配的系統有泛化,但對流體力學幫助不大。
- 11:43語言模型當調度層語言模型負責調度與指揮實驗,另有針對原子系統設計的 neural nets 當工具與 reward function。
- 13:00先賣給誰、怎麼賣先把 Periodic 自己當第一個客戶,對外定位成這些公司的智慧層,一開始當軟體業務來想,之後可能走接近 biotech 的發現模式。
- 15:04The Diamond Age 與十年後主持人用小說 The Diamond Age 提問十年後的世界;Liam 談從寫文章、寫軟體走向生成物質,以及半導體、航太、能源。
- 17:53跨領域團隊與 scaling物理學家、化學家、AI 研究者與工程師一起做;Liam 把早期 Google Brain 的小團隊對比今天靠 scaling laws 的工業化,並認為物理科學也會有類似性質。
- 19:55資本與科學家待遇需要更多資金,主要成本是算力而不是實體設備;主持人感嘆學術界科學家的薪資相對於社會價值偏低。
- 21:45AGI 與遞迴自我改進Liam 認為智慧不是單一純量,系統有奇怪的不平整;軟體工程的自我改進已經發生,AI 研究的外圈較慢,科學與工程則需要接上物理世界的閉環。
- 25:41機器人與自動化不需要靈巧的人形機器人也能做,但會是很大的加速器;目前用的是現成、簡單的機器人,主持人分享自己做過液體處理機器人的經驗。
- 28:05最期待的 AI 發展Liam 最期待 AI 與物理世界的介面,尤其是機器人帶來的對物理世界的控制。
值得記的話5 句
Science ultimately isn't sitting in a room thinking really hard.
科學終究不是坐在房間裡拚命想05:28Periodic spends zero effort on improving coding models.
Periodic 不花力氣改進 coding 模型07:50it's not just a pool of data. It's this very active loop.
重點不只是一池資料,而是一個很活躍的迴圈09:39just because atoms are hard doesn't mean there's not an order of magnitude or two to speed up.
原子很難不代表沒有一兩個數量級的加速空間16:52I think one fallacy is thinking about intelligence as a scalar.
我覺得有一種謬誤,是把智慧當成單一純量22:01
名詞與人物8 個
- Periodic Labs
- Liam 創辦的公司,目標是替原子世界打造 AI foundation lab,用 AI 影響材料科學、化學等物理領域
- Liam Fedus
- 來賓;曾任 OpenAI post-training 副總,更早在 Google Brain
- John Schulman
- Liam 說當時在 OpenAI 主張「保持通用、做 chatbot」的人
- orchestration layer
- Liam 對語言模型在 Periodic 角色的說法:調度專門模型、實驗與資料的上層
- closed loop
- 實驗資料、模擬與文獻互相核對,再驅動下一輪實驗的迴圈
- spikiness
- Liam 形容 AI 系統能力不平整:某個領域世界級,題目稍微改動就大幅退步
- AlphaFold
- 主持人拿來比較的蛋白質結構模型,建立在數十年累積的結構資料上
- The Diamond Age
- 主持人提到的小說,Liam 被問到十年後世界時的引子
提到但沒有展開
- 主持人問為什麼這麼多物理學家進了 AI;Liam 說高能物理在發現 Higgs 之後,卡在下一代實驗裝置,很多人看了自己的技能,覺得在別處能有更大貢獻。
- Liam 說 Periodic 借用開源模型訓練時用到的數十兆 token 當先備知識,所以進到特定化學空間時,樣本效率很高。
- 主持人說自己待過的公司曾自建液體處理機器人,要加相機、用 ML 監控並 3D 列印零件減震,作為高通量實驗需要可靠機器人的例子。
