039 · 上線後才是真正的開始
介紹如何靠自建的 log 監控、PR 審查與使用者模擬三層系統，揪出 agent 上線後看不見的失敗並持續修好。
原標題：The Missing Layer After Launch - Raphael Kalandadze, Wandero AI
重點摘要
- 上線才是關卡的開始demo 順利不代表結束，講者稱這段沒人在談的階段為「遺失的一層」，重要性甚至超過產品本身。
- 無法窮舉測試的世界agent 面對的輸入千變萬化，不像傳統軟體能先列出所有情境測完，單元測試與模擬對話只能覆蓋整體問題的一小部分。
- 失敗常常悄悄發生agent 卡住又自己找到出路，不會觸發任何警報，問題就這樣潛伏在系統裡；任務跑完了也不保證真的幫到使用者。
- 打造自動診斷與 PR 迴圈一個 agent 每小時深入分析 log、診斷問題、送出 PR，再由帶著新鮮視角的 review agent 把關，把修復時間壓到半小時內。
- 從單點修復拉高到整體健康度session analyzer 替每場對話打分數、抓出高層級的規律，搭配自建儀表板呈現健康分數、成本與修復建議。
- 用使用者視角補完全貌computer-use agent 親自登入操作介面，抓出 log 和程式碼都看不出來的問題，把所有系統串成一個「meta harness」。
時間軸
時碼點下去會跳到影片的那一段。
| 時碼 | 段落 | 重點 |
|---|---|---|
| 00:00 | 開場提問 | 講者拋出一連串問題：agent 在 demo 上跑得好好的，但上線之後你要怎麼知道它真的在運作、怎麼發現還沒被抓到的漏洞。 |
| 01:22 | 遺失的一層 | 上線那一刻才是真正工作的開始，講者稱這段沒人在談的階段為「遺失的一層」，重要性不輸產品本身。 |
| 01:56 | 涵蓋範圍無限 | 傳統軟體能先窮舉情境測完再上線，但 agent 的輸入與執行路徑千變萬化，永遠測不完，也因此漸漸抓不住系統的手感。 |
| 02:31 | 安全網失靈 | 單元測試、模擬顧客對話都做了，但這些終究只是整體問題的一小片，使用者的行為永遠比想像中多變。 |
| 03:18 | 非決定性的代價 | LLM 不是決定性的，輸入稍微變化就可能走上完全不同的路徑，production 才是唯一能看到真實行為的地方。 |
| 03:34 | 安靜的失敗 | agent 卡住又自己找到出路，不會跳出任何警報，問題就這樣潛伏在系統裡沒人發現。 |
| 04:38 | 完成不等於成功 | 工具呼叫規模龐大，任務跑完不代表真的幫到使用者，例如行程規劃流程雖然跑完，訂錯服務、算錯價格，使用者還是不滿意。 |
| 05:51 | log 是真相來源 | log 是最直接的線索，但要讓 agent 讀懂 log、分辨真假問題、找出根因，需要大量推理能力，並不如想像中簡單。 |
| 06:50 | 自動診斷送 PR | 打造一條 log 監控 agent 的迴圈：讀 trace、診斷問題、送出 PR，再交給另一個帶新鮮視角的 review agent 把關、打分數，確認沒問題才交給人。 |
| 10:34 | 人力會不會變瓶頸 | PR agent 與 review agent 每天送出的 PR 量是團隊三人的十倍，講者開始思考人是否該退出這個迴圈、什麼時候退出才對。 |
| 12:17 | 拉高到整體健康度 | 打造 session analyzer，替每場對話打分數、抓出高層級的規律，補上單點修復看不到的全貌。 |
| 14:16 | 自建儀表板 | 儀表板呈現健康分數、分析過的對話數、成本與趨勢，並用 AI 洞察連結各個問題的根因，附上修復建議。 |
| 16:07 | 補上使用者視角 | 打造 computer-use agent，親自登入網站操作介面，抓出 log 和程式碼都看不出來的介面問題。 |
| 18:17 | 串成 meta harness | 把所有系統串在一起，講者稱之為「meta harness」；上線很容易，難的是把整個迴圈閉合起來。 |
值得記的話
名詞與人物
| Wandero AI | 講者任職的新創公司，從這場提到的行程規劃案例來看，做的是旅行相關的產品。 |
|---|---|
| meta harness | 講者自創的說法，指把 log 監控、PR review、session 分析、computer-use 等多個 agent 串成的整體監控系統。 |
| session analyzer | 講者自建的系統，替每場對話打分數、抓出高層級的規律，用來掌握整體健康度而不是修單一個問題。 |
| computer-use agent | 講者用來模擬真實使用者的 agent，直接登入網站操作介面，找出 log 和程式碼都看不出來的問題。 |
| Harrison | 這場引用他的一句話來說明 agent 的行為要等上線才知道；講者沒有進一步介紹他的身分。 |
延伸
- 講者提到 Anthropic 的一篇部落格文章，指出 agent 有時會把沒驗證過的功能標記為完成，這場沒有點出是哪一篇。
- 講者提到市場上已經有其他公司和工具做類似的監控與儀表板系統，但沒有點名是誰。
- 講者提到會給 computer-use agent 存取 log、資料庫、metrics 等所有工具權限，但沒有細講實作方式。