哈利整理 Karpathy 與 Tri Dao 兩場訪談的重點，談 agent、AGI 時程、RL 的缺陷、NVIDIA 的推論護城河，最後細講 Google 與耶魯用 AI 找到抗癌藥物的研究。
重點
Karpathy：是 agent 的十年。Karpathy 批評不少 AI 公司高層講得太誇張，認為不該說 2025 是 The Year of Agents，應該說 The Decade of Agents。他給 AGI 的定義是 OpenAI 最早期那一版，並認為 AGI 大概是十年後的事。哈利的看法是這跟執行長們的五年說法可以同時成立，因為雙方定義的 AGI 不一樣。
Karpathy：RL 很糟，預訓練也浪費。Karpathy 說 RL 的 reward 太 sparse，只看最後答案對不對就評斷整串思路；LLM 當評審又很好騙。他也認為預訓練讓模型背了太多沒意義的知識，未來有能力的模型可能只有 1 Billion 左右的參數。
Tri Dao：推論市場會慢慢鬆動。哈利說 Tri Dao 印證了他原本的想法，NVIDIA 在訓練端的護城河很厚，推論端則會慢慢被分走。Tri Dao 認為 AI workload 會逐漸收斂，ASIC 公司不得不賭，賭對的會分到市占。
Tri Dao：抽象層與成本。Tri Dao 說現在這一層軟體抽象不夠好，一兩年後會看出誰贏；他也說至少接下來一年還有十倍的效率提升，理由是 workload 收斂、KV Cache 壓縮與更高效的 kernel。哈利把每項兩三倍乘起來，認為十倍很可預期，並提醒做 AI 產品的人不用擔心現在貴。
Google 的單細胞 LLM 找到新用途的藥。Google 與耶魯把細胞基因表達轉成文字，在 Gemma 2 上持續預訓練，再用雙情境模擬篩四千多種藥，挑出一個從沒被拿來提升抗原呈現的藥。實驗中癌細胞情境下提升將近 35%，正常情境沒有顯著變化。
哈利的判斷：通用 AI 做科學。哈利強調結果還要靠臨床試驗，也不代表能治所有癌症。他看重的是這次找到突破的是一個通用模型，並認為 AI 推進基礎科學的經濟價值遠大於提升知識工作者的生產力。
時間軸 點時碼從那一段開始
- 三個題目哈利先預告 Google 與耶魯的癌症研究，再整理兩個他最近聽到最有料的訪談。
- 先講 Karpathy他上 Dwarkesh 的 podcast，哈利介紹他的經歷，說他現在自由之身，講話沒有 filter。
- agent 十年與 AGI 定義Karpathy 認為真正有用的 agent 與 AGI 沒有大家說的這麼近，目前只有 coding 這類少數領域的 agent 有經濟價值；他用 OpenAI 最早期的定義，說 AGI 約十年後。
- 哈利拆兩種 AGI哈利把 AGI 分成 Digital 與 Physical，說兩邊的時程可以同時成立，十年其實是很樂觀的預測。
- 第二點：RL 很糟糕Karpathy 說 RL 糟糕、只是別的更爛，reward 太 sparse；哈利補充 process-based supervision 這類解法；Karpathy 也提到 LLM 當評審很好騙，被訓練的模型會鑽到胡言亂語也拿 100 分的漏洞。
- 第三點：預訓練與小模型Karpathy 說預訓練讓模型背了太多無意義的知識，有能力的模型可能只有 1 Billion 左右的參數；哈利舉 GPT-5 比 GPT-4.5 小為例。
- 換講 Tri Dao他上 Redpoint 的 podcast；哈利介紹他發明 Flash Attention、現在在 Together AI，並說明它靠減少 HBM 與 GPU 之間的搬運來加速。
- 第一點：推論市占與晶片賭局哈利說訓練端 NVIDIA 護城河深、推論端有空間；Tri Dao 認為 workload 會收斂，ASIC 公司不得不賭。
- 第二點：抽象層現有抽象層難寫、跨硬體通用性差；哈利連到 EP104 的 Modular，Tri Dao 說一兩年後會看清楚。
- 第三點：成本與十倍效率過去兩年推論成本降了破百倍；Tri Dao 說至少一年內還有十倍效率提升，來源是硬體面的 workload 收斂、KV Cache 壓縮與 kernel 優化；哈利把各項兩三倍乘成十倍。
- Google 與耶魯的研究研究起點是打造通用的生物 LLM，專精在單細胞分析。
- Cell to Sentence 與 Gemma 2把細胞基因表達依表達量排序換成文字，再用 27 billion 參數的 Gemma 2 持續預訓練，得到單細胞分析的通用模型。
- 冷腫瘤與雙情境模擬目標是找出只提升癌細胞抗原呈現、不波及健康細胞的藥；一邊模擬低 IFN 訊號的癌細胞，一邊模擬正常細胞，對四千多種藥反覆取樣。
- 找到一個 S 開頭的藥這個藥有別的用途，沒有任何文獻提過它能放大抗原呈現；實驗證實癌細胞情境下提升將近 35%。
- 突破與限制還要臨床試驗；哈利請 AI 查出約 20 到 40% 的癌症可能受惠，並說該藥已做過一、二期試驗，進度可加快。
- 通用 AI 做科學對比 AlphaFold 這類只懂單一領域的模型，這次是通用模型；哈利再舉 GPT-4b micro 與 IMO 金牌為例。
- 科學比生產力更大哈利期待材料、能源乃至核融合等關鍵科技被一個個解開，認為經濟價值遠超過知識工作者的效率提升。
值得記的話
▶ 09:59「我覺得這邊其實是兩邊可以同時成立的」
▶ 12:23「其實 10 年是非常非常 Bullish 的一個預測」
▶ 40:11「你再蹲個一年，它總是會便宜個十倍的」
▶ 54:12「我們只要活得過接下來 15 年，我們就不會死了」
▶ 56:05「它的價值是高非常多倍的，因為它的用途實在是太多了」
名詞與人物
- Andrej Karpathy
- 哈利整理的第一場訪談的受訪者，曾是 OpenAI 早期創辦人之一、Tesla AI Director，現在自辦教技術的學校。
- Tri Dao
- 第二場訪談的受訪者，發明 Flash Attention，現任 Together AI 的 AI Director。
- Digital AGI / Physical AGI
- 哈利自己的分法：前者只在數位世界做知識工作，後者還要能做實體的事。
- 認知核心
- Karpathy 的說法，指模型真正的推理與運用知識的能力，相對於背下來的世界知識。
- Flash Attention
- 運算結果不變、靠減少 HBM 與 GPU 間搬運而加速的 Attention kernel。
- 抽象層
- 介於 PyTorch 與晶片之間的厚厚一層軟體；哈利提到 EP104 的 Modular 想重寫它。
- Cell to Sentence
- 把細胞的基因表達依表達量排序、轉成文字的做法。
- 冷腫瘤 / 熱腫瘤
- 冷腫瘤抗原呈現偏低、免疫系統不去攻擊；目標是提高抗原呈現把它變熱。
- 雙情境模擬
- 同時模擬癌細胞情境與免疫中性的正常細胞情境，找只對前者有效的藥。
延伸
- 哈利說 Tri Dao 這部分的想法，他在 EP82（今年年初 GTC 大會時）就聊過，當時談的是 NVIDIA 在推論端的優勢與隱憂。
- Modular 想重寫整個 AI 軟體抽象層，哈利在 EP104 介紹過。
- 哈利之前介紹過 OpenAI 訓練的 GPT-4b micro，他把它視為通用 AI 做科學的前兆之一。