分數很高的模型，寫出來的程式能上線嗎

概要

• 基準分數只看功能對不對Prasenjit 說各家模型都在報 80% 以上的通過率，但那只驗功能正確性，安全、可靠度、可維護性、技術債這些都沒被量到。
• 模型越新，程式碼越長同一批 Java 題目，Gemini 3.1 Pro High 產出 307,000 行，Claude Sonnet 4.6 是 627,000 行，GPT-5.4 與 GPT-5.4 Pro High 到 1.2 million 行。Prasenjit 也說越新的模型行數越往上走，複雜度與 bug 總數也跟著升高。
• 問題換了種類，沒有消失Prasenjit 的觀察是成熟的模型靠強化學習擋掉了舊型的問題，漏洞總數在下降，但留下的是更細微、人更難看出來的 bug 與漏洞。
• 成因有好幾個訓練資料品質參差、內建安全缺陷、藏著細微的邏輯錯誤，加上 LLM 本身是機率性的、看不到公司的程式碼庫與架構、也無法解釋自己為什麼這樣寫。
• Sonar 的 ACDC 流程分 guide、verify、solve 三個階段，另有 inner loop 與 outer loop。
• 在 commit 之前就驗verify 階段讓 agent 寫完程式、還沒 commit 就先分析，約需 1 到 5 秒，CI 要跑 1 到 5 分鐘；solve 階段的修補 agent 會把有問題的修正丟掉，不交出會造成 regression 的程式。

原話

• “English is now the new programming language everybody's talking about”

  英文成了大家都在講的新程式語言

  ▶ 00:55

• “do you trust the code that is being generated by these LLMs, right?”

  你信任這些 LLM 產出的程式碼嗎

  ▶ 01:32

• “they are getting kind of finer bugs or finer security issues rather than the old issues”

  成熟的模型留下的是更細的 bug 與安全問題，不是舊型的

  ▶ 09:53

• “the remediation agent is going to create the fix, run it through the analysis again, run it through the compilation part again”

  修補 agent 產出修正後，會再跑一次分析與編譯

  ▶ 13:46

延伸

• 排行榜點進每個模型都有細部資料，Prasenjit 建議依自己的架構來挑模型。
• 通過率最高的 Gemini 3.1 Pro High，是 2 月 19 日評估的那一筆。