把整間軟體公司放進沙盒訓練 agent

072Joseph Wang16:322026-07-31 上架

Emulated: The Data for Fully Autonomous Software Engineers and Companies — Joseph Wang

Joseph Wang 和共同創辦人 Sid 認為，agent 缺的不是寫程式的能力，而是營運真實基礎設施的資料。兩人從一個 etcd 叢集的環境，一路講到把雲端本身放進沙盒。

這場講了什麼

• 能力落差來自資料：Joseph 和 Sid 的背景是網路基礎設施、分散式資料庫與沙盒基礎設施。他們看到模型很會處理應用層，碰到基礎設施的複雜度就不太行，例如資料庫引擎上的 MVCC。Emulated 的看法是模型通常只跟資料一樣好。
• 現有基準只在程式碼庫裡打轉：SWE-Bench Pro、Terminal-Bench、DeepSWE 這類基準的任務都限在程式碼庫內，agent 花 50 到 100 輪交出一個幾千行的 PR。PM 跟客戶談、工程師試不同做法、做效能測試、長年顧著底層基礎設施，這些都不在裡面。
• 把軟體公司搬進容器：Emulated 的環境裝了專案、事故、客戶對話這些組織脈絡，也有網路故障、資料損毀、時鐘偏移這類規模大了才出現的問題；agent 還得調度分散式叢集，處理即時流量時顧到 blast radius。
• 單節點沙盒撐得了一陣子：Sid 拿一個 etcd 叢集當例子，Joseph 補充這是在單一沙盒裡模擬多節點、不穩定的節點與落後的 learner，多做幾次部署就能拉長任務。但 Joseph 認為這樣還不夠：標準的 post-training 流程太同質，全跑在單一容器沙盒裡，真實的基礎設施不是這樣運作。
• 真實基礎設施要靠真資源：從資源配置、對外 API、授權、部署與回滾，到 DNS、憑證、計費，一個雲端服務要處理的事太多，單節點沙盒模擬不了。Emulated 的方向是讓環境真的去配置基礎設施，也就是「把雲放進盒子」。
• 先從基礎設施切入：問答時其中一位講者說，一來這跟兩人的背景吻合，二來基礎設施公司的問題定義比較清楚；在單一領域做深學到的東西，之後也帶得到其他領域。

影片從哪一段開始看15 段

1. 00:13開場與主題Joseph 介紹自己和共同創辦人 Sid；Emulated 是專注提升 agent 可靠度與自主性的資料實驗室，這場談長時間、幾乎沒人監督的 agent 對資料層與模型層代表什麼。
2. 01:25團隊背景與能力落差Joseph 說兩人做的都是攸關任務的系統，DynamoDB 一掛，US East 1 與半個網路跟著掛；他們看到模型擅長應用層，卻推想不了基礎設施的複雜度。
3. 02:31落差在資料模型通常只跟資料一樣好，加入更多高品質資料，模型能力從來沒有退步過。
4. 02:46現有基準的侷限前沿基準的任務都限在程式碼庫裡，少了 PM、效能測試、長年負責基礎設施這些人類真正在做的事。
5. 03:33把公司放進容器Emulated 把軟體公司放進容器環境，附上組織脈絡，加入規模才有的故障與分散式叢集的調度。
6. 04:38etcd 叢集範例Sid 用 etcd 叢集說明：早期的環境只動原始碼，真正的落差在周邊的工單、事後檢討、滾動部署與硬體遷移，而且服務不能停。
7. 06:24單沙盒模擬叢集Joseph 補充這是在單節點沙盒裡模擬多節點、不穩定節點與落後的 learner，多做幾次部署就能拉長任務。
8. 06:54單一沙盒不夠標準的 post-training 流程大家都跑 Harbor、都是單一容器沙盒；Joseph 認為真實基礎設施不是這樣，deterministic simulation 也代表不了 AWS 規模的服務。
9. 07:32假想成雲端服務假設大家都是 AWS 或 GCP 的工程師，從一個軟體上線開始，接著碰到資源配置、對外 API、授權、部署與回滾。
10. 09:49一長串營運事項健康監控、跟主機溝通、DNS 與憑證、資源追蹤、管理後台、遙測與計費都得處理。
11. 10:38把雲放進盒子單節點沙盒有個極限，Emulated 設想環境要真的配置基礎設施；沙盒換了型態，post-training 流程也會跟著變，甚至可以把 post-training 流程放進沙盒。
12. 12:04還沒解決的難題例如整套 AWS Lambda 怎麼啟動、成本怎麼管；就算用了真資源，模擬與真實的落差還是在，即時流量與規模才有的問題也一樣。
13. 13:31模擬真實世界產業模擬真實世界的方式又刻意又低擬真；Emulated 要用完全擬真的模擬，讓 agent 擁有系統，甚至整間公司。
14. 14:19問答：為何先做基礎設施有聽眾問為什麼不做其他類型的 RL 環境。回答是這跟兩人的背景吻合，背景決定資料品質能做到多好；而且基礎設施公司的問題定義清楚，不像新創還在找 product market fit。
15. 15:44深耕單一領域再外擴在基礎設施這種單一垂直領域做深的經驗，可以轉到其他橫向領域，Emulated 也在試這條路。

值得記的話5 句

• Models typically are only as good as data is.模型通常只跟資料一樣好02:31

• model capability has never regressed whenever you introduce more high-quality data.只要加入更多高品質資料，模型能力就從沒退步過02:31

• software is living and you probably need some sort of software deployment component as well軟體是活的，你大概還需要某種軟體部署的機制09:34

• We kind of put a Cloud in the box我們有點像是把雲放進了盒子裡11:08

• how we, as an industry, emulate the real world is incredibly contrived and low fidelity.我們這個產業模擬真實世界的方式，非常刻意又低擬真13:31

名詞與人物8 個

Emulated

Joseph 與 Sid 共同創辦的資料實驗室，目標是提高 AI agent 的可靠度與自主性

Sid

Joseph 的共同創辦人，這場講解 etcd 叢集環境的範例

etcd

Sid 拿來示範環境的共識叢集，早期的環境只操作它的原始碼

MVCC

資料庫引擎上的機制，這場拿它當例子：可能造成資料損毀，也是幾個月前 DynamoDB 故障的根源之一

blast radius

處理即時流量時，一次變更出錯會波及的範圍，agent 要一併考慮

Harbor

標準 post-training 流程裡大家都在跑的東西，Joseph 拿來說明這類流程有多同質

SWE-Bench Pro、Terminal-Bench

這場舉出的前沿基準，任務都限在程式碼庫裡

CloudBox

Emulated 替「把雲放進盒子」取的另一個名字，指環境真的去配置基礎設施

提到但沒有展開

• 其中一位講者說，投資人常忘了軟體是活的，以為寫完就結束；其實部署、回滾、管理各個版本、逐步上線控制波及範圍，一直都在。
• 為什麼基礎設施的問題定義清楚，問答裡拿 Modal 當例子：使用者要的是低延遲、低成本的 GPU 沙盒，訓練跑到一半不能失敗，在意的就是這些。

Agent模型研究

在 YouTube 看原片 ↗