複雜 agent 不能只靠聊天框

概要

• 瓶頸移到規劃與審查Jacob 說，這 6 到 12 個月的生產經濟變了，實際做事變得很便宜，規劃與審查才是新的瓶頸。
• 用 verifier's rule 看任務任務可解又容易驗證，AI 就會解掉。Jacob 舉的法律例子裡，檢查合約定義容易驗證，撰寫合約與訴訟策略則很難驗證。
• 信任靠四招拉高把任務拉到可驗證的位置、找替代性的驗證指標、把任務拆開、加 guardrails 限縮 agent 能做的事。
• 控制要放進工作樹的每個節點只在根節點下判斷等於低控制；planning 能先對齊做法，但遇到特殊條款就無從應付；skills 與 elicitation 才能讓人的判斷進到節點裡。
• 聊天是一維的Jacob 說聊天頻寬低，會把一棵工作樹壓成一條線，所以主張人和 agent 在文件、表格這類持久的成品上協作。

原話

• “Planning work and reviewing work is the new bottleneck.”

  規劃工作與審查工作是新的瓶頸

  ▶ 02:44

• “By limiting what it can do, you basically get more trust because you know they won't do all these weird things.”

  限制它能做的事，就能多拿到一些信任，因為你知道它不會做那些怪事

  ▶ 07:23

• “make a decision, unblock yourself, but write this to a decision log.”

  做個決定、讓自己不被卡住，但要寫進 decision log

  ▶ 10:57

• “Chat is one dimensional.”

  聊天是一維的

  ▶ 11:17

• “Because I'm a human, I'm limited by language, but agents are not humans, and so we should not constrain them to human language.”

  我是人，所以受限於語言，但 agent 不是人，所以不該把它們限制在人類語言裡

  ▶ 13:42

延伸

• Jacob 說 UI 正在趨同，舉了 Linear 等公司最近兩週推出的新介面，但這段稿子字句破碎，沒有細節。
• Jacob 說目前的 planning 有用，但認為它不會一直留下來，稿子沒有說原因或替代做法。