資深工程師做 agent 為何卡關

概要

• 工程師變成調度員傳統軟體像交通指揮，管紅綠燈與車速；做 agent 比較像調度員，只定義目標，不規定每一步怎麼走。過程可能怪，但結果對就好。
• 文字取代資料結構以前的狀態是布林值或旗標，現在 LLM 讀得懂語意。Philipp 舉 deep research 的計畫為例，使用者可以一邊核准、一邊補充「聚焦美國市場、略過加州」。
• 交出控制權、錯誤當輸入取消訂閱的流程很難事先建模，所以要信任 LLM。agent 一跑五分鐘到十五分鐘，出錯就整個重來太貴，也會丟掉 context，要把錯誤丟回給模型繼續走。
• 用 evals 取代單元測試agent 不是 deterministic，同樣輸入不保證同樣步驟與結果。要量的是成功的比例與最後的結果，而不是每一步。
• 工具要寫給 agent 看agent 只看得到函式 schema 與 docstring，看不到程式碼，所以 delete item 這種自己覺得不言自明的方法也要寫清楚。
• 為會被丟掉的東西而建Philipp 收尾的原則是信任但驗證、為復原而設計、為刪除而建，因為換了更好的模型，同樣的東西會重做很多次。

原話

• “And now with agents, we are more of a dispatcher.”

  現在做 agent，我們比較像調度員

  ▶ 01:34

• “Agents are non-deterministic.”

  agent 不是 deterministic 的

  ▶ 06:25

• “agents are only successful if they are really reliable, right?”

  agent 要夠可靠才算成功

  ▶ 06:41

• “We are going to rebuild many, many times the same things with better models, better agents.”

  我們會一次又一次，用更好的模型與 agent 重做同樣的東西

  ▶ 10:02

延伸

• Philipp 說要追蹤 agent 在做什麼很重要，但同一個任務對不同使用者可能多走四步、多花一些 token，真正要量的是最後的結果。