AI Engineer World's Fair 2026 · 119 場

照 AI 工程師的學習路線，逛完一整場大會

主幹借自 roadmap.sh 的〈AI Engineer〉路線圖：從 Introduction 走到 Development Tools，一共 13 個節點。每一場只掛在一個節點上，掛的是聽完之後你回去要動的那一塊。路線圖畫不到的 40 場放在最下面兩個虛線框，一樣逛得到。

點黃色節點看那一站每一場在講什麼；米色的小方塊直接進那一場。看過的可以打勾，進度只記在這台裝置的瀏覽器裡。判準與逐場指派寫在筆記的 README。

還沒有看完的場。看完一場就在抽屜或那一場的頁面上打勾。

085turbopuffer 創辦人的起點

路線圖到這裡結束。

路線圖畫不到的 40 場

roadmap.sh 寫明 AI 工程師「用現成的模型」，也只談個人技能。可是這場大會有一整群人在做模型、在客戶現場，他們的場次一樣重要，只是路線圖上沒有他們的位置。

這張路線圖寫明 AI 工程師「用現成的模型」，訓練不在路上。可是整場大會有將近四分之一在講模型交到你手上之前的事。

路線圖只有個人技能，沒有客戶與產業。FDE 整軌在吵這個職位到底是什麼，金融那幾場在講錯不得的地方怎麼建立信任。

另一種看法：講者在爭什麼

路線圖是照技能分，筆記的跨場主題是照爭論分。同一批場，兩種切法；有幾條的分歧和講者在賣什麼有關，讀的時候留意。

AI 寫的程式誰來驗: 共識是生成變便宜、審查沒有：Addy Osmani 引 Sonar 的數字，96% 的人不完全信任 AI 寫的程式碼，每次提交前都驗證的卻只有約一半。分歧在誰來驗。Alex Volkov 主張照任務分流，授權、金流、權限自己逐行讀，其餘靠 traces、evals 與護欄；Geoffrey Litt 認為人還是要懂，因為理解是為了參與下一輪；Anthropic 內部是最核心的改動一定有 code owner 人工看，外圍交給 code review 加 CI；Benoit Schillings 則預測一年內模型寫的程式可能沒人再看。交給機器驗的那派也要求寫的和驗的分開：Eugene Yan 用獨立、帶敵意的 agent 驗證漏洞，Lance Martin 讓 verifier agent 在獨立的 context 裡把關；Manoj Nair 說最新模型找同一個漏洞跑五次只有 50% 找得到，要和確定性檢查搭配，Tariq Shaukat 與 Anirban Chatterjee 的 Sonar 也主張零信任的多層驗證。004 005 011 015 020 024 025 026 033 095
產出變多，成果沒跟上: 產出變多沒人懷疑：Garry Tan 算自己的產出約 400 倍、自己打折後中間值也有 80X，Denys Linkov 估計現在重做 Wisedocs 那次重構，時間約是當時的五分之一。分歧在這算不算成果。Alex Volkov 引的調查是每個 PR 的事故增加 242%；Tariq Shaukat 與 Anirban Chatterjee 都引 Carnegie Mellon 的研究，生產力紅利約三個月就退；Barr Yaron 的調查裡 97% 回報淨正面，超過九成也感受到負面影響；Matt Dailey 把有產出、沒影響叫 velocity sickness。拿 token 用量當指標被點名最多次：Jia Wu 說 Cognition 一年半到兩年前的 KPI 是衝 token 用量，現在看組織能不能變快；Leo Mehr 說只放大、不 scoping 會得到 token maxing slop cannon；Aditya Khandelwal 看到強制拚 token 之後 slop 上線、信心崩掉；Vinoo Ganesh 也認為 token maxing 不是正確方向，OpenAI 跟工程主管談的則是 value maxing。003 004 021 025 027 048 052 055 092 095 097 099
prompt 變薄，harness 變厚: 模型換代時 prompt 一路在砍：Thariq 說 Claude Code 砍掉了 80% 的 system prompt，拿掉的主要是範例與「不要做 X」；Eugene Yan 說每次換代 prompt 都得砍掉大約 50%；James Russo 的團隊試過加 context、加 skills，勝出的是 HTML 加幾個 data attribute 的最薄包裝。prompt 外面那層卻沒有變薄。Vinoth Govindarajan 認為大多數 agent 失敗是 harness 失敗，契約是「模型提議，harness 提交，收據作證」；Dan Farrelly 說 prompt 只撐幾週，執行層做對了能撐好幾年，要先把它做穩；Sam Bhagwat 預測每個 harness 都會擴張到變成 claw；Aditya Khandelwal 說每個 code base 都要做 harness engineering，而且要持續迭代。Rustem Feyzkhanov 提醒修正要放對層：context 太滿就改 harness，缺流程就放進 skill，不要全塞進 prompt。001 015 024 028 030 032 041 063 099
agent 進了團隊，該在聊天裡還是文件裡: 共識是 agent 正從一個人的工具變成一群人共用：Idan Gazit 說 AI 最大的價值是讓一群人做得更多，Lance Martin 說 Claude Tag 的重點是全組織共用、有自己身分的多人 harness，Sai Krishna 的 Judith 已經在親友群組裡跑了八個月。分歧在大家該在哪裡碰頭。Claude Tag 住在 Slack，內部版包辦 product engineering 團隊 65% 的 PR；Idan 的 ACE 讓團隊在同一個聊天介面討論，再叫 AI 照討論結果動手；Arjun Singh 讓同一個 session 從 Slack、桌面、手機一路走到 GitHub。Matt Dailey 反對以聊天為中心，說聊天預設是孤立、短暫的，關鍵決定該攤在共享文件裡；Geoffrey Litt 在 Notion 試的是兩種都要。Aditya Khandelwal 補上組織那一面：這是領導層的事，放任各人摸索，用得少的人只剩審查負擔。005 015 033 061 093 096 097 099
公司知識寫成 skill 之後誰來管: 共識是 agent 缺的是公司自己的脈絡：Prukalpa Sankar 說缺的是 context 不是智慧，Garry Tan 把 skill file 當員工、做完就 skillify，Alex Bauer 讓 agent 回答前先問 Librarian，Justin Smith 要一套學習系統記住 production context。分歧在寫下來之後怎麼管。Prukalpa 主張 context 要像程式碼一樣有版本、核准者與維護者；Yogendra Miraje 說 skill 是跟模型綁在一起的契約，換模型就要重跑 evals，上百個就需要治理；Philipp Schmid 指出 SkillsBench 索引的 50,000 多個 skills 幾乎都沒有 evals，要用有無 skill 的對照決定退役。安全這邊更嚴：Manoj Nair 引的研究說超過三分之一的技能帶有惡意程式或漏洞，Lucas Palma 的團隊在上架前掃過超過 2,000 個 skills；Sai Krishna 卻提醒，兩個各自通過靜態掃描的 skill 放在一起，可能變成有害的組合。006 012 014 021 026 059 060 061 094
權限要擋在哪一層: 共識是不能靠 prompt 叮嚀：Idan Gazit 說只在 prompt 裡叮嚀，一被 prompt injection 就擋不住，所以權限寫進 YAML front matter；Lucas Palma 提醒 skill 裡寫「要先請求確認」，AI 可能自己向自己確認。擋的位置各不相同。Erik Meijer 要 agent 只交計畫、把計畫寫成可分析的程式，無法證明安全的事就不做；Sai Krishna 讓 agent 照常讀，要執行動作時才用確定性規則把關；Paola Estefania 要把粗的 scope 換成切到單一動作的 capability；Vinoth Govindarajan 要核准物件答得出誰核准、哪個工具、有效多久。機器這一層，Abhishek Bhardwaj 勸新創從一開始就用 microVM，Kenton Varda 讓 gadget 的前後端都連不到外面，Arjun Singh 有了網路沙箱就敢開 YOLO mode。放行也可以交給模型：Claude Code 的 auto mode 靠分類器，Codex 則啟動一個只有讀取權限的 auto-review 子 agent。008 009 015 029 060 061 063 086 093 096 098
FDE 不是外包，但不是每家都需要: 九場劃的是同一條線：FDE 不是人力外包或代工，現場學到的要帶回產品。Pauline Brunet 把客戶說「我們缺人，你來做」視為警訊，Eno Reyes 的 Factory 不接程式碼現代化的代做，Sunny Rekhi 說在 Decagon FDE 就是產品工程，Vinoo Ganesh 說 FDE 是產品策略、不是業務職位。分歧在什麼時候該派、怎麼算成功。Kevin Bai 說只有產品很技術、買家卻不懂技術時才需要；Pauline 用客戶成熟度與產品客製程度的矩陣判斷；Natalie Meurer 乾脆說這個詞涵蓋太多事，幾乎沒有意義。成果的算法，Jia Wu 給的是交付時程縮短大約 82%，Vasuman Moza 說單點方案只有 5% 到 10% 的 ROI、整個部門一起改是 25%、50%、75%，Natalie 說 Sierra 認為定價會走向 outcome-based。最新的一步是把 FDE 自己交給 agent：Leo Mehr 的 Ramp 用 Notion agents 做出追問到能寫 spec 的 agent，Varick 的 FDE agent 則還沒做到第三階段。013 046 047 048 049 050 051 052 054
公開榜單的分數該信幾分: 共識是污染與作弊已經是常態：James Shi 說在 SWE-Bench Pro 的 rollout 裡，Opus 4.6 與 4.7 分別有 25% 與 18% 的時候用 git log 找回標準答案；Lee Robinson 說 Cursor 開跑前先刪掉 Git 歷史；Nick Heiner 說 Surge 找到 Opus 記住了 SWE-bench Verified 很多內容。驗證器也靠不住：Ali Khial 引 DeepSWE 的結果，SWE-Bench Pro 有 8.5% 的任務接受錯誤實作、超過 24% 拒絕正確實作；Daniel Han 卻引 Frontier Code 說 DeepSWE 的 false positive 高達 44.9%。工具一換分數就變，Cua 把內建電腦工具換成 CuaDriver，通過率從 62% 升到 80%。解法各走各的：Datacurve 的 DeepSWE 從零寫 113 個任務，Ali 的 G2i 訂了五條出題原則，Nick 要人類專家出題、留私有的 holdout set，Daniel 的建議是不信任何一個、取平均再自己試，Sean Cai 說一個分數只是一次抽樣。016 017 022 043 044 069 084
自己的 eval 從哪裡長出來: 不信公開榜單，答案就是做自己的：Alex Shaw 引 Satya Nadella 的話，手上有自己的 eval 就不必相信品牌或別人的榜單；Arjun Singh 挑出代表性的 pull request，在自家 code base 上比各個 agent。分歧在資料從哪來、多早做。Ben Hylak 說幾乎沒人真的先建一千筆資料集，換到 Claude Code CLI 八成 eval 就不能用，所以 eval 要寫成測試；Preetika Bhateja 與 Daniel Bump 說早期憑感覺迭代就好，太早找 scaled raters 結果會大起大落；Rustem Feyzkhanov 把 production trace 變成可重跑的模擬任務；Nubank 那場則指出 production traces 等於拿真實使用者在測，改用模擬使用者，Aman Gupta 說驗證週期從幾週縮到不到一天；Uber 的 Soumya Gupta 以人工標註的代表性資料集當基準。Philipp Schmid 證明 eval 可以很土：117 個測試案例，多半只靠 regex。012 036 037 039 041 058 096 103
評分交給 LLM，還是交給程式: Erik Meijer 說展場裡至少有一百家新創在做 LLM as a judge，這次大會對它的信任卻不高。loops 辯論的兩隊都同意，能用型別、linter 這類確定性方式驗證就盡量用；David Brumley 的團隊發現讓 LLM 當裁判，模型永遠說自己駭成功了，改用確定性的 oracle，並要模型交出能重現漏洞的輸入；Thais Castello Branco 說 LLM 評審有 reward hacking 與幻覺，寧可把品牌拆成顏色、字體這類可對照的 ground truth；Vinoo Ganesh 的 Kepler 讓模型只寫參照，數字交給確定性的系統。還是得用 judge 的人就想辦法管住它：Preetika Bhateja 的團隊追蹤人類與 LLM 評分的一致率，Maor Bril 先用人工標註校正 judge、再蒸餾成小型 VLM，Theta Software 讓 judge 本身是 agent、工具權限唯讀，Will Brown 用多個模型事後判斷的共識抽出 rubric。Kenny Workman 的經驗是警訊：Spatial Bench Long 試了 rubric，跟結果在數值上只有鬆散相關。008 023 039 040 055 073 075 078 080 081
後訓練卡在資料、環境還是獎勵: 共識是環境就是評估：Will Brown 兩場都說環境與 evals 是同一件事，同一套東西能產生 SFT 資料、跑 RL，也能當測試平台。卡在哪就各說各的。Mahesh Sathiamoorthy 說後訓練的流程已經成熟，缺的是資料；Ari Morcos 說只改資料，VLM 就進步約 14 個百分點；Joseph Wang 說全跑在單一容器沙盒裡太同質，真實的基礎設施不是這樣運作；Raymond Feng 看過工具呼叫約 10% 因網路失敗，模型的回答就越來越短，環境的毛病會被學走；Will Brown 說寫報告、處理退款這類任務沒有乾淨的標準答案，獎勵設計才是難處；Diogo Almeida 退一步質疑目標本身，RLHF 本來就是為討好迴圈裡的人而設計。合成資料也分兩派：poolside 的 XS.2 預訓練混料裡合成資料占 13%，當補充用；Varun Singh 引的 MAI Thinking One 堅持不用；Sean Cai 則說業界賣的都是 type two 資料，卻當成 type one 計價。010 044 045 070 071 072 074 075 077 079
從經驗學習：改權重，還是留在 context: 共識是模型做完就忘：Parth Asawa 說現在的評測等於叫模型每做一件事就忘光重來，Yu Su 說不累積專長的 agent 只是 the world's smartest novice。分歧在經驗該存在哪裡。改權重的一派：Samuel Denton 拿 production traces 蒸餾，離線設定下呼叫提交工具的比例從約 22% 升到 60%；Ronak Malde 用 on-policy self-distillation，也承認現在是「偽持續學習」；Jack Morris 說把資料訓練進模型的幾種做法都會飽和，要讓訓練越來越難。留在權重外的一派：Shlok Khemani 說 ChatGPT 與 Claude 的 profile 迴圈就是發生在權重之外的 continual learning，Lance Martin 用離線的 dreaming 整理記憶。而且最簡單的常常贏：Parth 的 benchmark 上，單純把經驗塞進 context 贏過比較貴的 context 管理系統；Stefania Druga 發現任務放得進 context 時，記憶只多花錢；Towards AI 在有快取的情況下，保留完整對話最便宜。Vivek Trivedy 主張三條線一起走：訓練資料、harness、記憶。033 101 102 104 105 107 108 109 110 111
開放權重與小模型，補充還是取代: 理由大家講得差不多：Nader 說常駐的 agent 讓 token 變成持續的開銷，企業與個人又不想讓資料外流；Lucas Atkins 說開放模型送進什麼、會得到什麼都看得到。分歧在開放權重會走多遠。Barr Yaron 的調查裡 45% 用開放權重模型，其中超過九成也在用閉源，解讀是補充、還沒取代；Saoud Rizwan 認為成本會讓它成為主流，Coinbase 已把 GLM 與 Kimi 設為內部預設；Ahmad Osman 預測大約 18 個月內，GLM-5.2 等級的智慧跑得進一張 RTX 5090。大小模型怎麼分工也沒有定論：Walden Yan 說 Cognition 的 Fusion 讓 Fable 規劃、便宜模型實作，成本降了 40%；Alex Atallah 提醒小模型落在分布外會頻繁呼叫工具、陷入迴圈，成本反而上升；Cormac Brick 說 tiny 模型要靠微調，10,000 到 10 million 筆合成資料就夠；Daniel Han 引的論文則說，同樣的磁碟空間，120 billion 的 4-bit 模型比 35 billion 的 16-bit 模型聰明。007 027 031 042 087 088 089 090
影片：讓 agent 寫程式組片，還是讓模型即時生成: 兩條路都有人走。寫程式這條：James Russo 押 HTML，因為那是 LLM 的母語，開源使用者 90 天內渲染了超過 130 萬支影片；Ekaterina Deyneka 的 Reelful 用 Remotion 組片，理由一樣是 agent 擅長寫程式，並認為剪真實素材比生成難。即時生成這條：Keegan McCallum 說 10 美元能連續生成三小時影片，今年已有至少 40 個具備即時與長時間生成能力的模型；Ahmed Ahres 把 world model 定義成即時互動影片，說現在的影片生成像拉霸機；Sidney Primas 的 LemonSlice 把約 30 步的去噪壓成 1 步，Teddy avatar 連續跑 8 小時不重置。Arturo Nunez 的 Nereu 走第三條路，資產只用標籤描述用途，並認為 world model 會是不同的媒介。共同的懸案是怎麼評：Ahmed 說即時模型的評估整個社群都還沒解，靠人用眼睛看；Maor Bril 改用兩支影片的成對比較，因為每個人心中的 1 到 10 分都不一樣；James Russo 也坦言模型在創意上還不夠好；Sangwu Lee 則讓 Krea 2 盡量不碰 AI 生成的圖，免得沾上別家模型的味道。030 040 112 113 115 116 117 118
金融：流暢又有把握的錯答案: 共識是錯得很有自信：Alex Bauer 說要 Claude 報營收，它給的是看起來完全正確的錯答案；Udi Menkes 把這種回答叫 fluent bluff；Shawn Chan 說 AI 從沒說過「我不確定」。解法分成幾路。不讓模型碰數字：Vinoo Ganesh 的 Kepler 讓模型只決定要算什麼，計算交給確定性的程式，自家微調的抽取模型達到 94%，剩下的 6% 仍然是錯的。換訓練資料：Udi 從 Intuit 的資料建出數百萬筆「狀態、動作、結果」，前沿模型只負責產生候選。把出處攤開：Shawn 要求點一下就到原始段落，並說這份清單沒有一項是要更聰明的模型。最保守的是 Divakar Kumar，規則引擎與 ML 先處理大部分交易，只有灰色地帶才交給 agent。Ramana Siddanth Emani 補了一句：production 出事不能推給 Claude。006 055 062 064 066 067
自動研究：agent 是研究員，還是執行者: 幾場都拿出了成績：Zhengyao Jiang 的 AIDEN 在 ParameterGolf 創下 7 筆紀錄，最好的人類參賽者只有 3 筆；Richard Socher 的 CUDA kernels 在各類別都贏過 NVIDIA benchmark 網站排行榜上的最佳成績；Sara Hooker 說 Autoscientist 勝過自家研究人員；Lee Robinson 說 Cursor 的研究員已經能直接從 Slack 啟動訓練。分歧在 agent 貢獻的到底是什麼。Zhengyao 說 AIDEN 的紀錄幾乎都源自其他參賽者的想法，agent 強在實作與找出對的組合；Sara Hooker 認為它贏在搜尋空間寬，跨不同架構與大小去試；Richard Socher 說 auto research 還只是 RSI 的弱形式；Brendan Rappazzo 預期通用的 auto research 會變成商品，價值在環境。Daniel Han 的提醒最實際：模型會刪計時器、把矩陣歸零，宣稱 kernel 快 10 倍的人要先驗證程式碼。017 018 022 056 065 100