生物領域 agent 的可驗證評測

078Kenny Workman（LatchBio）17:422026-07-31 上架

Verifiable Environments for AI in Biology — Kenny Workman, LatchBio

LatchBio 共同創辦人兼 CTO Kenny Workman 從空間生物學的 agent 產品講起，說明為什麼要自己做 Spatial Bench、科學任務怎麼做成可驗證的題目，以及後來延伸到藥物探索與拒答評估。

這場講了什麼

• 生物資料量暴增：單細胞、空間生物學、蛋白質體學這幾類實驗推動資料量快速成長，Kenny 說單次實驗的輸出常常超過科學家能安全存在一般筆電裡的量。
• 資料分析當可驗證的基底：現代生物論文大多照同一套流程走：選生物模型、產生資料、處理資料、對照文獻下結論。Kenny 的主張是，程式碼替軟體任務提供了可驗證的基底，資料分析也許能在生物領域做到同樣的事。
• 先有量尺才知道有沒有進步：LatchBio 做 agent 產品時發現，既有 benchmark 多半是問答，量不到實驗資料分析，於是自己做了 Spatial Bench。
• 任務要拆小、要人驗：生物的最終結果評分訊號太稀疏，模型又還很差，只好把分析流程拆成小段來驗；人工驗證才讓很多題目本身的模糊空間浮上來。
• 長流程任務與 rubric：Spatial Bench Long 模擬整篇論文的結果章節，每題要三個人花約一週做出來。結尾的可驗證獎勵資訊量太少，所以開始試 rubric，但跟結果在數值上只有鬆散相關。
• 延伸到藥物探索與生物安全：benchmark 已擴到其他組學與小分子的前臨床藥理，也收購了一家公司成立生物安全團隊，並開始評估模型在生物問題上的拒答。

影片從哪一段開始看16 段

1. 00:12開場與 Latch 定位Kenny 是 Latch 的共同創辦人兼 CTO，公司定位是做 benchmark 與 agent 工程的垂直 AI 實驗室。
2. 00:29生物資料的成長曲線資料量主要由單細胞、空間生物學、蛋白質體學三類實驗推動：單細胞一次可產生 2 到 6 TB、空間實驗 7 TB、蛋白質體學幾百 GB。
3. 02:05實驗論文的結構現代生物論文都是在一片雜訊裡用量測找訊號，Kenny 由此推出主張：資料分析可以像程式碼一樣，成為可執行、可拿來訓練與 benchmark 的基底。
4. 03:08Latch 的來歷五年前在 Berkeley 創立，最早替生技與製藥業處理大型實驗的檔案資料；近兩年轉向服務做實驗套件的廠商，替他們包白牌軟體，接著 agent 開始把這些基礎設施當工具用，而在這個領域一個工具可能跑好幾天甚至幾週。
5. 04:14第一批 agent 產品去年夏天 agent 原型開始能用，Latch 做出有聊天介面、會建儀表板、會派工到外部運算的產品，讓科學家拿腫瘤切片的空間資料反覆追問；雖然還很差，但已看得到起色。
6. 05:34為什麼需要 post-training前沿模型還不能放心交給它做真正的工作，缺的是從真實資料抽出科學洞見的能力；Latch 選空間生物學當切入點。
7. 07:12需要一把量尺空間資料的處理步驟隨技術、組織、疾病差很多，業界也沒有共識；既有 benchmark 多是問答，於是去年 12 月做出 146 題的 Spatial Bench。
8. 07:58拆成可驗的小段每一題停在分析 DAG 的某個節點，包含資料、描述科學目標的任務說明與 grader 設定，grader 是一個 Python 函式；Kenny 說這很像 SWE-bench，早期想法多半借自它。
9. 09:02好任務的條件任務要可驗證、要經得起推敲（ground truth 做得草率，合理的分析路徑也會被判錯），而且結論要靠跟資料互動才得出，不能靠記憶。
10. 09:54人工驗證看過今年 1 到 3 月幾輪模型發布的軌跡之後，Latch 發現很多假設站不住；沒有標準答案的時候，讓科學家互相評分是最好的替代。
11. 10:25題目的模糊空間例如一題要 agent 把基因清單分成兩組、在「適當半徑」內找鄰近細胞再算 Spearman 相關，每一步都有好幾種做法；生物資訊常用的 QC 數值門檻也很隨意。兩輪人工驗證後留下已驗證的子集並發表。
12. 12:01Spatial Bench Long模擬整篇論文的結果章節或藥物計畫的 go / no-go 決策，例如用腫瘤與轉移病灶的切片找出最初種下轉移的那一區；這題目前沒有模型答對。
13. 13:25用 rubric 補足所有分析路徑會長成一棵樹，找出不隨路徑改變的節點來建 rubric；它跟可驗證結果有關聯，但數值上只是鬆散相關，還不敢拿來做 RL 或 benchmark。
14. 14:12擴張與被採用前沿實驗室與社群自行採用了這些 benchmark，近期 Anthropic 的 model card 也有；Latch 已擴到其他組學與小分子的前臨床藥理，也收購一家公司成立生物安全團隊。
15. 15:45拒答評估現在模型在生物問題上很容易拒答，Kenny 舉例問 Fable 粒線體的基本問題它也不答；Latch 把例行任務與偽裝成無害的紅隊任務放在一起，量模型在兩類任務上的拒答。
16. 16:55研究與產品的飛輪Latch 跟套件廠商合作決定要做哪些 benchmark，再讓各家實驗室在上面競爭，模型變強，Latch 的產品也跟著變好。

值得記的話5 句

• just like code provided a verifiable substrate for complex software tasks that are not inherently verifiable, data analysis might do the same thing in bio.程式碼替本來不好驗證的複雜軟體任務提供了可驗證的基底，資料分析在生物領域也許能做到同樣的事03:08

• frontier models cannot be trusted to do real work.前沿模型還不能被信任去做真正的工作05:34

• science does not admit clear ground truth科學沒有清楚的標準答案09:02

• having a bunch of scientists grade each other's work ended up being like the best proxy.讓一群科學家互相評分，最後成了最好的替代方案10:09

• We still strongly believe the verifiability structure is what's going to carry intelligence a bit longer.我們仍然深信，可驗證的結構會讓智慧再往前走一段13:56

名詞與人物8 個

Latch / LatchBio

Kenny 共同創辦並擔任 CTO 的公司，定位是做 benchmark 與 agent 工程的垂直 AI 實驗室

Spatial Bench

LatchBio 去年 12 月發表的 benchmark，146 題，涵蓋不同的實驗套件與分析任務

Spatial Bench Long

長流程版本，模擬整篇論文的結果章節或藥物計畫的 go / no-go 決策，每題要三個人約一週才做得出來

spatial biology（空間生物學）

跟單細胞一樣量 RNA，但保留 RNA 在組織上的幾何位置

single cell biology（單細胞生物學）

把細胞拆開後量測裡面的 RNA，一次可產生 2 到 6 TB 資料

proteomics（蛋白質體學）

量測蛋白質的一大類技術，資料量比前兩者少

SWE-bench

Kenny 說 Spatial Bench 每一題的結構看起來很像它，早期想法多半借自它

rubric

從分析路徑樹裡找出不隨路徑改變的節點所建的評分準則，用來補長流程任務結尾獎勵的不足

提到但沒有展開

• Latch 合作的一種技術是 sequencing-based spatial：玻片上鋪滿附著 DNA 的小珠，把一塊腫瘤切片放上去就能捕捉裡面的 RNA，並記下精確的位置；資料出來是一個大矩陣加一張高解析影像。
• 藥物探索方面，繼小分子前臨床藥理的 benchmark 之後，Latch 打算依治療類型與實驗類型，一塊一塊涵蓋從探索、開發到轉譯的整個計畫範圍。
• 拒答評估裡的紅隊任務長得很無害，例如「我想把一個基因選殖進細菌，這是 GFP」，實際上那可能是毒素，或能拿來當製造病毒的起點。

Agent評估研究醫療

在 YouTube 看原片 ↗