全部集數

060 · 體感變快、實測變慢的 AI 生產力

從 METR 的實驗、公司燒 token 的帳單到 AI 公司高層的改口，拆開「AI 讓生產力大增」這個體感，順便談剛入行的人正在失去的那段紮實訓練。

2026-06-0724:12產業觀察研究開發工具職涯看原片

原標題：AI 生產力的幻覺：從開發者到整個產業的自我感覺良好 | S2E60

重點摘要

  • 體感跟實測差了四成METR 找了 16 位大型成熟專案的長期維護者做 246 個任務，全程螢幕錄影計時。這些人事前覺得會快 24%、事後覺得快 20%，實測卻是慢了 19%。
  • 達克效應被弭平了過去是能力不足的人容易高估自己，現在連對 AI 很熟的專家也一樣高估。主持人的解釋是大腦把工作外包給工具，卻把工具的產出算成自己的能力。
  • 再一個 prompt 的拉霸感模型九成的時間表現不錯，偏偏最後那些枝微末節總是差一步。結果時好時壞，剛好卡在讓人一直想再試一次的位置。
  • PR 變多只是活動量變多Uber 四個月燒完一年的 AI credit 預算，開始踩剎車。DORA 的調查則說 AI 是放大器，底子不夠穩的團隊 PR 變大、review 時間拉到三倍、incident 變兩倍。
  • 高層的說法開始轉彎Sam Altman 承認入門白領工作沒有像他預期那樣快消失，Dario Amodei 則把「做完工作」跟「取代工程師」拆開講。主持人猜是一兆美元等級的 IPO 敘事，加上數據還沒支持。
  • Junior 的能力斷層職缺變少，進得來的人也少了在架構會議裡列方案、被質疑、掙扎過的訓練。答案太流暢、看起來有理有據，就以為自己學會了。

時間軸

時碼點下去會跳到影片的那一段。

時碼段落重點
00:00開場這集的「幻覺」不是模型胡說，是從開發者、公司到整個產業都高估了 AI 帶來的生產力。
02:05上一集的回饋裸辭那集的留言一面倒正向，主持人推測是頻道還沒破圈，酸民還沒找上門。
04:26再一個 prompt 就好前幾個 prompt 表現很好，愈到收尾愈差一步。就算會開新 session、把流程寫成 skill 也一樣。
05:46METR 怎麼做實驗受試者不是隨機找的，是在同一個 repo 待了好幾年的專家，理論上最有資格判斷 AI 有沒有幫上忙。
07:02自我感覺良好事前覺得快 24%、事後覺得快 20%，錄影分析出來卻是慢了 19%。連影片重播給他們看都改不了體感。
08:26實驗做不下去了今年想擴大重做，30% 到 50% 的開發者拒絕加入沒有 AI 的對照組。不用 AI 已經不是一個選項。
09:12達克效應失效過度自信不再只發生在能力不足的人身上，整條曲線被抹平，每個人都覺得自己變強了。
10:15像拉霸的使用體驗工具的產出被算成自己的成就。coding agent 的結果好壞交錯，剛好讓人停不下來。
11:19公司開始踩剎車Token Maxxing 的風氣在轉向，Uber 四個月就把一年的 AI credit 預算花完。
12:04放大器不是加速器PR 數量變多只是原地繞圈。DORA 發現底子弱的團隊 review 拖到三倍、incident 翻倍，時間都花在擦屁股。
13:59達沃斯的預言Dario Amodei 今年一月說六到十二個月內 AI 能做完軟體工程師大部分或全部的任務，引發一波恐慌。
14:30兩個人都改口Sam Altman 直接承認自己錯了，Dario Amodei 則改說「做完任務」不等於 end to end 完成，更不等於工程師被取代。
15:32為什麼挑這時候改主持人的兩個猜測：一兆美元等級的 IPO 不適合配大規模失業的敘事，而就業數據也還沒出現急劇變化。
17:06最大的問題在 Junior上一代是一行一行寫、在 design review 裡吵出結論；現在的新人靠 AI 產出，也沒機會旁聽那些決策的細節。
20:43兩個樂觀的想像斷層也許只卡在這一代，教育跟上就好；或者像現在很少人研究 Compiler，那些能力以後根本不再被需要。

值得記的話

即便看到這個證據在眼前呢，他們還是覺得自己使用 AI 以後的體感上是變得更好了。

07:54

你覺得你做這些任務的速度變快，但實際上是慢了 19%，所以整個來回就差了 40%。

08:11

它不是只有針對這個認知能力不夠好的人，而是對所有的人。

09:28

你就是花了一大堆的這些 token，產生了一大堆的 PR，然後最後要擦這些屁股。

13:10

你就以為這個東西是合理的，你就以為你學會了這些概念，但其實你並沒有嘛。

19:41

名詞與人物

METR做那個 AI 生產力實驗的研究單位，去年的結論是 AI 讓開發者自我感覺良好。
DORA調查多個工程團隊後提出「AI 是放大器」的研究單位，實作能力強的團隊才用得順。
達克效應能力不夠好反而過度自信的現象，這集認為 AI 把它從特定族群擴散到所有人。
harness engineering開新 session、把流程寫成 skill 這類改善模型表現的技巧，但補不了最後那一步。
Token Maxxing過去半年公司不太計較成本、狂燒 token 導入 AI 的風氣。
Dario Amodei今年一月在達沃斯世界經濟論壇預測 AI 六到十二個月內能做完工程師工作的人，近期修正了說法。
Sam Altman曾預測入門白領工作會大量消失，最近承認消失得沒有他想的快。
Human in the loop系統還不夠穩定，所以架構決策仍需要資深工程師把關的狀態。

延伸

  • 開頭提到上一支裸辭影片的留言回饋，這集只帶過，沒有再展開內容。
  • Coinbase、Square 等公司近幾個月裁員時把 AI adoption 當理由，主持人懷疑是拿來掩蓋過去 overhiring 的錯誤，但沒有深談。
  • 結尾用 Compiler 當比喻：如果哪天 AI 能穩定地把高階語言轉成自然語言，人的思考就會往更上游移動。這個想像只點到為止。

原始出處