上線後才是真正的開始

039Raphael Kalandadze（Wandero AI）19:332026-07-05

The Missing Layer After Launch - Raphael Kalandadze, Wandero AI

介紹如何靠自建的 log 監控、PR 審查與使用者模擬三層系統，揪出 agent 上線後看不見的失敗並持續修好。

重點摘要

上線才是關卡的開始：demo 順利不代表結束，講者稱這段沒人在談的階段為「遺失的一層」，重要性甚至超過產品本身。
無法窮舉測試的世界：agent 面對的輸入千變萬化，不像傳統軟體能先列出所有情境測完，單元測試與模擬對話只能覆蓋整體問題的一小部分。
失敗常常悄悄發生：agent 卡住又自己找到出路，不會觸發任何警報，問題就這樣潛伏在系統裡；任務跑完了也不保證真的幫到使用者。
打造自動診斷與 PR 迴圈：一個 agent 每小時深入分析 log、診斷問題、送出 PR，再由帶著新鮮視角的 review agent 把關，把修復時間壓到半小時內。
從單點修復拉高到整體健康度：session analyzer 替每場對話打分數、抓出高層級的規律，搭配自建儀表板呈現健康分數、成本與修復建議。
用使用者視角補完全貌：computer-use agent 親自登入操作介面，抓出 log 和程式碼都看不出來的問題，把所有系統串成一個「meta harness」。

時間軸14 段

00:00	開場提問	講者拋出一連串問題：agent 在 demo 上跑得好好的，但上線之後你要怎麼知道它真的在運作、怎麼發現還沒被抓到的漏洞。
01:22	遺失的一層	上線那一刻才是真正工作的開始，講者稱這段沒人在談的階段為「遺失的一層」，重要性不輸產品本身。
01:56	涵蓋範圍無限	傳統軟體能先窮舉情境測完再上線，但 agent 的輸入與執行路徑千變萬化，永遠測不完，也因此漸漸抓不住系統的手感。
02:31	安全網失靈	單元測試、模擬顧客對話都做了，但這些終究只是整體問題的一小片，使用者的行為永遠比想像中多變。
03:18	非決定性的代價	LLM 不是決定性的，輸入稍微變化就可能走上完全不同的路徑，production 才是唯一能看到真實行為的地方。
03:34	安靜的失敗	agent 卡住又自己找到出路，不會跳出任何警報，問題就這樣潛伏在系統裡沒人發現。
04:38	完成不等於成功	工具呼叫規模龐大，任務跑完不代表真的幫到使用者，例如行程規劃流程雖然跑完，訂錯服務、算錯價格，使用者還是不滿意。
05:51	log 是真相來源	log 是最直接的線索，但要讓 agent 讀懂 log、分辨真假問題、找出根因，需要大量推理能力，並不如想像中簡單。
06:50	自動診斷送 PR	打造一條 log 監控 agent 的迴圈：讀 trace、診斷問題、送出 PR，再交給另一個帶新鮮視角的 review agent 把關、打分數，確認沒問題才交給人。
10:34	人力會不會變瓶頸	PR agent 與 review agent 每天送出的 PR 量是團隊三人的十倍，講者開始思考人是否該退出這個迴圈、什麼時候退出才對。
12:17	拉高到整體健康度	打造 session analyzer，替每場對話打分數、抓出高層級的規律，補上單點修復看不到的全貌。
14:16	自建儀表板	儀表板呈現健康分數、分析過的對話數、成本與趨勢，並用 AI 洞察連結各個問題的根因，附上修復建議。
16:07	補上使用者視角	打造 computer-use agent，親自登入網站操作介面，抓出 log 和程式碼都看不出來的介面問題。
18:17	串成 meta harness	把所有系統串在一起，講者稱之為「meta harness」；上線很容易，難的是把整個迴圈閉合起來。

值得記的話5 句

The part that keeps me up all night, which is you lose the feel for your own system.讓我夜不能寐的部分，就是你會漸漸失去對自己系統的手感02:15
So you don't know what your agent will do until it is in the production.你不會知道你的 agent 會做什麼，直到它上了 production03:18
Even slight modification of the input can cause a different trajectory and the coverage is endless.輸入只要有一點點變化，就可能觸發完全不同的執行路徑，涵蓋範圍是無窮的03:34
And as I mentioned, the unit tests don't save you here, and production is the place when you learn what you need to test on the first place.就像我說的，單元測試在這裡救不了你，production 才是你真正學到該測什麼的地方05:33
So shipping is the easiest part today. If you want to build a production agent, you need to close the loop first.上線是現在最簡單的部分，如果你想做出一個能上 production 的 agent，得先把迴圈閉合起來18:55

名詞與人物5 個

Wandero AI: 講者任職的新創公司，從這場提到的行程規劃案例來看，做的是旅行相關的產品。
meta harness: 講者自創的說法，指把 log 監控、PR review、session 分析、computer-use 等多個 agent 串成的整體監控系統。
session analyzer: 講者自建的系統，替每場對話打分數、抓出高層級的規律，用來掌握整體健康度而不是修單一個問題。
computer-use agent: 講者用來模擬真實使用者的 agent，直接登入網站操作介面，找出 log 和程式碼都看不出來的問題。
Harrison: 這場引用他的一句話來說明 agent 的行為要等上線才知道；講者沒有進一步介紹他的身分。

提到但沒有展開

講者提到 Anthropic 的一篇部落格文章，指出 agent 有時會把沒驗證過的功能標記為完成，這場沒有點出是哪一篇。
講者提到市場上已經有其他公司和工具做類似的監控與儀表板系統，但沒有點名是誰。
講者提到會給 computer-use agent 存取 log、資料庫、metrics 等所有工具權限，但沒有細講實作方式。

Agent開發工具評估

在 YouTube 看原片 ↗