AI 寫的程式碼要靠驗證把關

095Anirban Chatterjee（Sonar）22:312026-08-09 上架

Guide, Verify, Solve — Anirban Chatterjee, Sonar

Sonar 的 Anirban Chatterjee 拿研究與模型評測說明 AI 寫程式為何需要獨立驗證，再用 Guide、Verify、Solve 三步迴圈，講 Sonar 怎麼把驗證放進 agent 的內圈與 CI/CD 外圈。

這場講了什麼

• 生產力衝高後會掉回去：Anirban 引用 Carnegie Mellon 的研究，用 Cursor 寫程式的專案生產力只衝高約三個月，靜態分析警告與程式複雜度卻持續增加。Sonar 的解讀是這些問題後來拖慢了開發。
• 應用越關鍵，品質缺口越大：個人實驗或短命的內部小工具，AI 的品質與需求落差不大；用戶多、程式碼大、還有人想攻擊的系統，需求遠高於 AI 預設的水準，這段差距就是 verification debt，要靠工程師補上。
• 人工審查靠不住：Anirban 引用 Wharton 的研究，AI 被設定成有時自信地說謊，受試者在 AI 正確時有 92.7% 照做，AI 錯的時候也有將近 80% 照做。程式碼量暴增時，rubber stamping 更難避免。
• 驗證要 zero trust 又要多層：不管程式碼出自人或哪個 AI，都用同一套可稽核、可重複的流程檢查，而且檢查的方法不同於寫程式的方法，也不是單靠一兩種技術。
• Guide、Verify、Solve 三步迴圈：先給 agent 護欄與上下文，再驗證，最後讓 agent 自己修問題並重跑。內圈由 Sonar Vortex 負責，PR 流程那圈則由新收購的 AI code review 工具與 SonarQube 把關。
• 規格與品質門檻要先寫下來：架構限制、可用的依賴、程式風格、logging 與 tracing 做法，加上安全、可維護性的可接受標準，都要先編碼，agent 才有東西可對照。

影片從哪一段開始看16 段

1. 00:17開場Anirban 說今年是從實驗走向工程的轉折點，AI 要像雲端運算那樣變得可重複、可擴展，得先加上安全與信任。
2. 01:43Carnegie Mellon 研究從 GitHub 專案比較用與不用 Cursor 的差別，生產力約三個月後掉回去，警告與複雜度卻持續上升。
3. 02:41品質缺口與 verification debt應用越關鍵、用戶越多、越可能遇到惡意使用者，AI 預設品質與需求的落差越大，得靠工程師補。
4. 03:45模型為什麼會出錯模型仍會出錯，而且只知道你告訴它的：不知道程式碼庫其他地方在發生什麼、業務狀況，或兩週前那場會議講了什麼。
5. 04:46Sonar 的 LLM leaderboard用約 4,000 個寫程式任務評測新模型；Claude Sonnet 4.6 在正確性與可靠性不錯，要更高可維護性與安全性可以換 Opus 4.6。
6. 06:24人工審查也會失靈Wharton 實驗顯示受試者在 AI 說謊時仍大多聽從，真實的 code review 很可能也是這樣。
7. 07:41軟體無法像程式碼那樣被證明程式碼寫對就會穩定執行，但程式一多、用戶亂用就會出新問題，所以需要自動驗證。
8. 09:18驗證的兩個條件必須是 zero trust 與多層：來源不論、方法跟寫程式的不同、可稽核可重複，並混用計算式與 LLM 審查。
9. 10:38ACDC 三階段把 agentic loop 拆成 Guide、Verify、Solve，其中 Verify 最快落地，Guide 給護欄與上下文，Solve 讓 agent 自己修。
10. 12:02客戶採用驗證的四個原因一致的驗證標準、token 效率、儘早抓安全問題，以及留下合規所需的稽核紀錄。
11. 13:25SonarQube 與收購的 code review 工具SonarQube 是涵蓋多種語言的 zero trust 多層驗證平台；Sonar 數週前還收購了一家位於 San Mateo、做 AI code review 的公司。
12. 14:53Sonar Vortex 與 Remediation AgentVortex 讓 agent 在內圈取得護欄並即時驗證，Remediation Agent 處理積壓的技術債，兩者本週 GA。
13. 16:04內圈與外圈的流程先寫下規格與品質標準，agent 只取需要的上下文，內圈邊寫邊驗證，PR 流程再由收購來的 AI code review 工具與 SonarQube 把關。
14. 19:05Vortex 內圈示範影片裡 Cursor 先呼叫 Vortex 取得上下文，寫完呼叫驗證，立刻修問題並重跑，直到通過。Claude Code、Codex、Antigravity 也有類似的整合。
15. 20:11結論與使用規模治理與驗證是下一階段的關鍵，Sonar 說有超過 700 萬名開發者使用，每天分析將近 7,500 億行程式碼。
16. 21:04三個帶走的重點設定有界的自主性、落實 ACDC、統一用單一獨立的多層驗證平台，避免各工具各自為政。

值得記的話5 句

• They found that there was, in fact, a temporary spike in productivity.Anirban 轉述 Carnegie Mellon 的研究：用 AI 工具的專案，生產力確實有暫時的衝高02:00

• You're always going to have some kind of need for verification in the loop迴圈裡永遠需要某種驗證06:05

• participants did follow the AI advice 92.7% of the time when the AI was correct這句講的是 Wharton 研究：AI 正確時，受試者有 92.7% 照著做06:55

• Software can break in interesting and novel ways.軟體會以有趣又新奇的方式壞掉08:29

• You can't just throw your entire code base at the agent up front不能一開始就把整個程式碼庫丟給 agent17:12

名詞與人物7 個

verification debt

預設的 AI 程式品質與應用所需品質之間的差距，上線前要靠工程師補齊

LLM leaderboard

Sonar 網站上的模型評測榜，用約 4,000 個寫程式任務，從正確性、複雜度、可維護性、可靠性、安全性等面向評分

zero trust 驗證

不管程式碼是人或 AI 寫的，都用同一套可稽核、可重複的方法檢查

ACDC（agent-centric development cycle）

Sonar 提出的 agent 開發循環，分 Guide、Verify、Solve 三階段

SonarQube

Sonar 的 zero trust 多層驗證平台，涵蓋語法、資料流、架構與控制流等問題

Sonar Vortex

讓 agent 在內圈取得上下文與護欄，並即時呼叫驗證的新功能，本週 GA

Remediation Agent

用來處理積壓的問題與技術債的 agent，本週 GA

提到但沒有展開

• PR 那一圈的審查分兩種：收購來的 code review 工具做 LLM 驅動的審查，SonarQube 做計算式的審查，替品質、安全、可維護性打分數，沒過門檻 PR 就進不了 production；找到的問題可以交給 fix agent 修。
• Anirban 提到現在 CVE 一公布，常常當天就被拿去利用，所以安全問題要在開發早期就抓。
• 這套 AI code review 預設只列出問題、跟開發者來回討論；用久了有信心，才逐步打開自動擋下、寫修正、核准並合併 PR。

Agent開發工具評估安全

在 YouTube 看原片 ↗