把驗證做進 agent 的開發流程

025Tariq Shaukat（Sonar）18:532026-07-20 上架

In the Land of AI Agents, the Verifiers Are King — Tariq Shaukat, Sonar

Tariq Shaukat 用 METR 與 Carnegie Mellon 的資料說明 coding agent 的產出為何靠不住，提出 guide、verify、solve 三步與三個迴圈，主張驗證要內建，不能事後補。

這場講了什麼

• 模型會寫，但不一定寫對：Tariq Shaukat 引用 METR 的資料，agent 能完成的任務長度成長很快，但那是 50% 成功率；拉到 80%，進展就慢很多。Sonar 自己的測試也顯示，頂尖模型的功能正確性都很好，程式碼仍有複雜度、bug 與安全問題。
• 生產力紅利會退：Carnegie Mellon 的研究看到導入 coding agent 後速度提升 3 到 5 倍，三個月後就消退，因為安全、可維護性、可靠性與複雜度的問題跟著增加，技術債堆得跟程式碼一樣快，甚至更快。
• Guide、verify、solve：Sonar 的框架把程式碼生成放在中心，外面包三件事：引導 agent、驗證結果、解決問題。Tariq 主張這要成為 AI 時代軟體開發流程的一部分。
• 零信任的多層驗證：每個模型都有自己的偏誤，所以要混用不同模型與技術；演算法式檢查看資料流、控制流、已知模式與密鑰，agent 式檢查看意圖、商業邏輯與未知的未知。
• 三個迴圈會自我強化：agentic loop、CI 驗證迴圈、程式碼維護迴圈要刻意設計，把驗證放在中心。這套系統往好的方向會累積，忽略驗證也會往下沉。

影片從哪一段開始看11 段

1. 00:51驗證才是問題Sonar 做程式碼驗證，合作的幾乎都是企業；KPMG、EY 的報告因幻覺撤回、律師引用編造的判例，問題都是怎麼知道 AI 的產出是對的。
2. 03:01METR 的資料客戶問軟體開發是不是不一樣。METR 的資料裡，最新的 Mythos 模型在預覽階段可做 16 到 18 小時的任務，但那是 50% 成功率；拉到 80% 只剩約三個半小時。
3. 04:59模型的程式碼品質Sonar 拿超過 4,000 題讓模型作答，功能正確性都很好，但複雜度偏高、仍有 bug 與安全問題；GPT-5.5 在複雜度上表現特別好。
4. 06:07生產力紅利退場Carnegie Mellon 的研究看到 3 到 5 倍的速度提升在三個月內消退，因為各種問題一起增加，技術債跟著程式碼一起長。
5. 07:42驗證要內建程式碼可以證明，但大型程式碼庫又亂又有技術債；Tariq 主張把驗證做進流程，不要當成老派的 code review，並介紹 ACDC 框架。
6. 09:21Guide：脈絡與限制引導分成脈絡（架構認知、語意導覽圖）與限制（準則、允許與不允許的依賴、目標架構）；Sonar 測試中同一個問題的 token 用量降了 30% 以上。
7. 11:14Verify：零信任多層驗證混用不同模型與技術，演算法式驗證搭配 agent 式驗證；採用多層驗證的客戶回報 AI 造成的 production 事故少 44%。
8. 12:59Solve：維護與技術債生成程式碼就會生出技術債，要有持續的維護流程；乾淨的程式碼庫讓 agent 少花 token 與推理，效果會累積。
9. 14:33三個迴圈agentic loop 在 agent 工作時給脈絡、限制與即時驗證；CI 驗證迴圈結合演算法與 agent 做 PR 審查，並有 evals 與品質關卡；再加上程式碼維護迴圈。
10. 16:22正向與負向循環忽略驗證的客戶很快陷入下沉螺旋；和一家大型銀行的測試中，採用 guide、verify、solve 後問題減少 92%，效果隨迴圈累積。
11. 18:05結論建議以 agent-centric development cycle 為核心，把刻意設計的驗證放進整個系統。

值得記的話5 句

• They're incredible at generating things that sound correct, but are they correct它們很會產出聽起來正確的東西，但真的正確嗎02:13

• But the critical caveat when you read the data is this is at a 50% success rate.但讀這份資料要注意的關鍵是，這是 50% 成功率03:54

• every model has biases, every model produces, has a character, has a personality每個模型都有偏誤，都有自己的性格11:29

• they are reporting AI-derived production outages being 44% less frequent than the ones who do not.他們回報 AI 造成的 production 事故，比沒這麼做的少 44%12:39

• they can get a 92% reduction in issues他們的問題可以減少 92%16:57

名詞與人物7 個

Sonar

Tariq Shaukat 任執行長的公司，做程式碼驗證

METR

量測模型能完成人類要花多久的任務，Tariq 引用它 50% 與 80% 成功率的兩條曲線

Mythos

Tariq 引用 METR 資料時提到的模型，預覽版約可做 16 到 18 小時的任務

ACDC（agent-centric development cycle）

Sonar 的框架：圍繞程式碼生成，做 guide、verify、solve

Guide / Verify / Solve

引導 agent、驗證結果、解決問題三步

零信任多層驗證

混用不同模型與技術，結合演算法式與 agent 式檢查

Sonar Vortex

Sonar 大約在前一天發表的產品，屬於 guide 這一塊

提到但沒有展開

• Sonar 還沒拿 Fable 系列模型跑過這組測試，因為模型才剛發表。
• 一位大型客戶的 CTO 聽到 80% 的數字，回應說只給出 80% 正確資訊的員工，大概會被列入績效檢討；Tariq 的結論是這還稱不上企業等級。

Agent開發工具評估安全

在 YouTube 看原片 ↗