Lovable 靠兩條迴路每小時自我改進

概要

• 目標是同一個錯只犯一次Benjamin 認為 agent 最讓人煩的是同樣的事要一再解釋。Lovable 的方向是持續學習，錯誤發生過一次就不該再來。
• 非技術使用者卡住就走人技術背景的人遇到摩擦還會手動繞過去，非技術使用者多半直接放棄。所以 Lovable 想做到使用者不會卡到無路可走。
• 用 LLM 判官找出卡關的對話重複提同一個要求、抱怨實作、明確失敗、放棄原本會繼續的對話，都算卡住的訊號。從卡住變成沒卡住的那一刻，就是高訊號的樣本。
• 做一套 Lovable 版的 Stack Overflow把這些樣本聚類、整理成知識條目，由審查者跑小型評估確認有效，再由輕量模型在需要時注入主 agent；同時留一小部分不注入，用來比較成效，過時的條目就撤掉。
• 給 agent 一個 vent 工具有些問題不是使用者能解的，Lovable 讓 agent 在被工具或平台卡住時直接把抱怨送到 Slack。因為 agent 已經處理過好幾輪，手上的脈絡比使用者多。
• 回報已經開始自動化現在有 agent 負責去重、調查並開 PR，開發者審過後很多會直接併進正式環境。Benjamin 說團隊還在努力把偵測、修復、評估這個迴路整個閉起來。

原話

• “We want to have a mistake happen once and then never again.”

  我們希望同一個錯誤只發生一次，之後再也不要出現

  ▶ 01:06

• “It gets stale whenever a new model is released.”

  每次新模型一發布，這些知識就過時了

  ▶ 10:25

• “So we gave our agent a vent tool, a way to complain to its creators.”

  所以我們給 agent 一個 vent 工具，讓它可以向創造者抱怨

  ▶ 13:26

• “We didn't even know that this tool was failing so regularly until the agent told us.”

  直到 agent 告訴我們，我們甚至不知道這個工具失敗得這麼頻繁

  ▶ 15:38

• “It's too easy to send feedback and I can't pull it back.”

  寄出回饋太容易了，而且我收不回來。這是 agent 對 vent 工具本身給的回饋，Benjamin 轉述

  ▶ 17:59

延伸

• Benjamin 提到內部有一套用這批問題為模型排名的做法，榜上前面的模型都用了 Stack Overflow 的資訊，另有幾個隱藏的項目不能公開。
• Benjamin 認為把外部審查者放在對話旁邊，訊號雜訊比低，因為每一輪都要它給答案；讓 agent 自己判斷何時回報則可以調整到訊號夠強。