靠回饋迴圈把 AI 功能做好

概要

• 一次生成的聊天功能會踩雷Mehedi 示範一個一次生成就上線的聊天系統，列不出待辦、web search 太慢、寫不出自己慣用的跟進信，請它針對會議給建議也答非所問，並說這些是做通用聊天機器人很常遇到的問題。
• web search 不只是一行程式Mehedi 說各家 LLM 供應商把它說得像加一行就好，但 token 用量與成本會漲，每次聊天可能花約 10 pence；他們也碰過模型更新後 web search 變差、完全不受自己控制。
• 一個 prompt 服務不了所有人業務、工程師對會議摘要的期待不同，工程師可能想要 action items、blockers 或 Linear tickets。
• 自建 tracing 工具看穿黑盒Granola 把 tool calls、呼叫原因、搜尋與推理軌跡、成本存進資料庫，資料結構照自己的需要排；Mehedi 說前端是最重要的一塊，因為團隊靠它找出哪裡壞掉。
• 把 Electron 前端變成 web shell桌面 app 一次只能跑一個實例，測試新功能與不同版本很麻煩；他們把前端做成可部署的網頁，每個 PR 都有預覽連結。
• 結論是做出回饋迴圈重點不是一次生成得更好，而是像跟 LLM 打網球一樣來回，才有信心上線的東西真的能接住使用者。

原話

• “That's what the labs want you to believe.”

  那是各家實驗室想讓你相信的；指的是 web search 只要加一行程式就能用

  ▶ 02:59

• “And the thing is that one prompt can't generally serve everyone.”

  問題是一個 prompt 通常沒辦法服務所有人

  ▶ 04:06

• “And LLMs are stubborn, and we need to figure out how to get inside them and make them work how we want it to work.”

  LLM 很固執，我們得弄清楚怎麼深入它們，讓它們照我們要的方式運作

  ▶ 04:23

• “this is basically a long talk to tell you that the answer isn't to one shot better.”

  這整場基本上是要告訴你，答案不是一次生成得更好

  ▶ 08:38

延伸

• Mehedi 提醒，市面上有市值十億美元等級的公司專做 web search，可見它遠不只是在 LLM 流程裡加一個工具。
• Mehedi 說 tracing 工具的資料照自己的需要排，所以除了工程師，CX 等其他團隊也看得懂。