Inceptive

029 · 從 attention 到 RNA 的生物軟體

35:24YouTube 上架 2023-08-24Jakob Uszkoreit（Inceptive CEO）

No Priors Ep. 29 | With Inceptive CEO Jakob Uszkoreit

Jakob Uszkoreit 談 attention 為什麼剛好合硬體的胃口、現在的模型怎麼浪費算力，以及創辦 Inceptive、把 RNA 當成可以編譯的生物軟體。

029 講了什麼

• attention 是順著硬體想出來的Jakob 說語言有一定的階層結構，不必從頭到尾依序讀，可以先平行理解局部、再逐步合併。反覆比對所有組合，正好是加速器擅長的大量簡單平行運算。
• 算力不會看題目難度調整模型花多少算力，取決於提示與回答有多長，而不是問題多難。質因數分解寫起來很短卻很難；反過來，把 2 加 2 寫得很囉嗦、要 GPT-4 回得很複雜，它就會花一大堆算力。
• 用生成資料重訓是在攤提算力資訊理論說生成的資料不會多出資訊，但它沒有把運算成本算進去。拿模型的輸出再訓練，等於把以前花掉的算力分攤到後面的迭代；Jakob 覺得這很笨拙，該讓模型在推論當下自己決定要不要多算。
• 深度學習可以繞過「先理解再修」生命裡有什麼，我們連完整清單都沒有；已知的部分，也很少有夠準、用得上的理論。Jakob 認為把系統當黑盒、靠大量觀測來訓練，是一條很合適的替代路線。
• RNA 是生物軟體的 bytecode現在的 mRNA 疫苗等於只有 print 一種指令；有了自我放大 RNA 與 riboswitch，就有條件判斷與遞迴。Inceptive 想學出一種模型，把用程式描述的藥效編譯成 RNA 分子。
• 實驗和模型纏在一起Inceptive 的實驗流程裡不是一個大循環，而是很多小循環，一步查模型、讀數再餵給下一個模型。Jakob 說他們的工作發生在「海灘上」，乾與濕交會的地方。

從哪一段開始看16 段

1. 00:00開場Elad 介紹 Jakob：在 Google 待了十多年、Attention Is All You Need 的共同作者，現在創辦 Inceptive 做生物軟體。
2. 00:45attention 的由來深度學習要往前推，只能讓它在既有硬體上更快更有效率；語言有階層結構，可以平行看局部再合併，比對所有組合的 quadratic 步驟就是 attention 的核心。
3. 04:21別的架構與 GPU主持人問其他架構是不是因為硬體太合 Transformer 而沒人試。Jakob 說 GPU 當初不是為此設計的，未必在最佳點，值得把不同硬體與架構搭起來測；只用 MLP 的 Mixer 就跟 vision Transformer 差不多。
4. 06:48樂觀與信心除了效率，另一個原因是樂觀：有些嘗試開始有效，更多人投入，就有更多東西跑起來。
5. 07:53算力分配不合理算力隨提示長度增加，而不是隨問題難度；使用者與架構都沒有旋鈕可以說「這題難，多算一點」。
6. 09:28生成資料與攤提算力拿 LLM 的輸出再訓練，是把先前花掉的算力分攤到多次迭代；Jakob 覺得笨拙，希望模型推論時就能看資源與難度決定要算多久。
7. 11:32彈性的缺口模型很難優雅地吃下不同解析度、取樣率、長度的影片；同一支影片放大或補幀，現在就是多花算力。
8. 13:07自適應深度與測試時搜尋主持人提到 Meta 的 depth adaptive Transformers 與 test time search。Jakob 認為搜尋是很有效的工程手法，但不好優化；Universal Transformer 很早就試過，效果還不夠好。
9. 15:12為什麼做生物Jakob 一直對生物有興趣卻不懂；認為深度學習能繞過兩個問題：生命的清單不完整，已知機制也缺乏能預測的理論，蛋白質摺疊就是例子。
10. 17:46女兒與 RNA第一個孩子出生，讓 Jakob 對生命的脆弱有了不同的體會；AlphaFold 2 剛解決結構生物學的難題，mRNA 疫苗正在救世界，於是決定把在 Google 做的方法用在 RNA。
11. 20:06生物軟體把 RNA 當 bytecode，學出能把程式描述的藥效編譯成 RNA 分子的模型；現在的 mRNA 疫苗只有 print，自我放大 RNA 與 riboswitch 則帶來條件與遞迴。
12. 21:25製造與分發蛋白質類生物製劑常因無法量產而上不了市；RNA 兩年後就有 60 到 80 億劑的製造與分發產能，Inceptive 的實驗室也幾乎能合成任何 RNA。
13. 22:25生成而非篩選可能的序列有 10 的 630 次方種，篩選行不通，要像 LLM 與圖像生成模型那樣用生成；個人化癌症疫苗每位病人還要針對多個抗原。
14. 23:44理解反而是阻礙？Jakob 拿語言學追求完整理論的歷史類比，主持人想到基因定序；主持人也舉阿斯匹靈、metformin，說藥物機制常常事後才懂，法規卻要求先講機制。
15. 28:20人類增強與預訓練Jakob 長期看好人類增強，但看不出大腦有多餘的容量；幼兒只聽幾十萬到幾百萬個字就會說話，是因為演化已經做完預訓練。也說 AGI 的 general 意思不清。
16. 31:58實驗與模型的循環Inceptive 自認是一門新學科的先驅，實驗用模型設計、模型吃實驗產出的資料，中間有很多小循環；成員很快就會講起混合的語言。

值得記的話5 句

• the other main contributor I think to the success of this architecture is optimism and hope我認為這個架構成功的另一個主要原因，是樂觀與希望06:48

• if you look at mRNA vaccines our programming language is just a print statement看看 mRNA 疫苗，我們的程式語言就只有一個 print 敘述20:53

• it's not going to be a search, right? Just like today the output of an LLM isn't coming out of a proper search procedure這不會是搜尋，就像今天 LLM 的輸出也不是靠正規的搜尋程序產生的22:57

• we confuse fine tuning and pre-training. Pre-training is all of evolution我們把微調和預訓練搞混了，預訓練就是整個演化29:40

• this is also why I find AGI as a term particularly problematic because I don't know what the general means這也是我覺得 AGI 這個詞特別有問題的原因，我不知道 general 指的是什麼31:28

名詞與人物11 個

Jakob Uszkoreit

Inceptive 共同創辦人暨 CEO，Attention Is All You Need 的共同作者。

Inceptive

Jakob 創辦的公司，用深度學習設計 RNA，先從 mRNA 做起。

Transformer

以 attention 為核心的模型架構，Jakob 說它跟當時的加速器非常合。

quadratic step

對所有組合做比對的步驟，Jakob 說這是 attention 的核心。

Mixer

只用 MLP 的電腦視覺架構，表現跟 vision Transformer 差不多。

amortize compute

把先前花掉的算力分攤到後面的多次訓練，Jakob 拿它解釋用生成資料重訓。

depth adaptive Transformers

主持人提到的 Meta 研究，依每個輸入調整計算量。

test time search

推論時做搜尋，例如生成程式碼時用編譯結果驗證；Jakob 說是很有效的工程手法。

Universal Transformer

Jakob 他們很早就試過的自適應計算架構，目前效果還不夠好。

biological software

Inceptive 的說法：用程式描述藥效，再編譯成 RNA 分子。

self-amplifying RNA / riboswitch

前者能自我放大，後者遇到小分子會大幅改變結構或自我分解；Jakob 說有了它們，RNA 就有條件判斷與遞迴。

提到但沒有展開

• Jakob 說看 Moderna、BioNTech 這些公司的管線，mRNA 已有數百個計畫在不同階段，預期這十年結束前會到高三位數，可能成為營收第二或第三大的藥物類型。
• Jakob 不太樂觀能從黑盒裡把理論取出來：簡單的情況也許可以，但像氣候與天氣預測，就算懂 Schrödinger 方程式，也整理不出一個既能預測又實用、裝得進腦袋的理論。
• 主持人說傳統的藥物發現與基因篩選本來就是這樣做的：先突變、看功能輸出，再回推是哪些基因；分子生物學出現之前也不懂機制，深度學習像是用新工具回到這條老路。

在 YouTube 看原片 ↗