為 agent 設計工具介面的四個教訓

概要

• agent 是另一種使用者Michael Hablich 認為人與 agent 目標相同，但人卡在視覺複雜度，LLM 偏好非視覺、schema 清楚、資料密度高的介面。
• trace 檔要先摘要5 萬行 JSON 的 trace 檔會撐爆 context window，團隊改回傳 markdown 與語意摘要，把 agent 指到對的地方。
• 用 tokens per successful outcome 量效率它同時看有沒有完成任務與花了多少 token，Michael 強調要在同一種 user journey 內比較，不要跨場景比。
• 錯誤要能自己復原有用的錯誤訊息、主動改道到對的工具、troubleshooting skill，都是為了讓 agent 不必等人來修。
• 工具描述是 agent 的介面25 個工具之後換成選擇問題，描述要寫清楚用途與觸發條件，但描述越長 context 越大，這是取捨。
• 方便不能壓過信任AutoConnect 每次都要使用者同意是刻意設計，Michael 依 agent 的執行環境分成三層來看風險。

原話

• “Fuel efficiency is relatively worthless if you can't reach your destination.”

  燃油效率如果到不了目的地，就沒什麼價值；所以指標才叫 tokens per successful outcome

  ▶ 08:38

• “even an imperfect measurement is better than simply doing gut-driven decisions.”

  就算量得不完美，也比單憑直覺做決定好

  ▶ 10:38

• “the schema is the UI for the agent.”

  對 agent 來說，schema 就是它的介面

  ▶ 16:20

• “User experience is evolving to incorporate agent experience.”

  使用者體驗正在演變，把 agent 的體驗也納進來

  ▶ 21:21

• “Agents are our next users.”

  agent 是我們的下一批使用者

  ▶ 22:10

延伸

• 那篇談 MCP 工具描述品質的論文，Michael 補充描述加長對較小的模型可能反而造成偏誤，讓它去用不該用的工具，取捨請聽眾自己讀論文判斷。
• 錯誤訊息的實例：「無法在選取的頁面往回瀏覽」那條錯誤，團隊在最後補了一句說明，agent 就能自己修好，不必等人介入。