054 · 獨自打造 agent 逼出的五道關卡
獨立打造 agent 系統的人,最終都會被逼著重造一套更糟的 CI/CD,這場示範怎麼用五道關卡守住輸出品質。
原標題:Every Solo Agent Builder Eventually Reinvents a Worse Version of CI/CD - Sumaiya Shrabony
重點摘要
- 獨自開發的代價獨立建置 agent 系統久了,會在不知不覺間被逼著重造一整套維運機制,而且比正規 CI/CD 還糟,因為每一次交接都可能出錯,只有自己會發現。
- 七個交接點,七個說謊的機會講者的內容產線系統橫跨排程、研究、內容規劃、產出、驗證、審核到輸出資料夾,共七個交接點,每一個都是輸出可能被污染、卻沒人把關的地方。
- 五個被逼出來的重造從測試輸出格式(regression testing)、失敗告警(CI monitoring)、邊界驗證(contract testing)、上線前的檢查點(staging environment),到把每個環節都記錄下來(audit trail),五樣東西幾乎照固定順序被逼出來。
- 真正危險的不是壞輸出明顯壞掉的東西一眼就能抓到;真正麻煩的是外表完整、通過所有必要欄位,卻用錯語氣、講出沒有查證的主張,或跟舊內容撞哏的成品。
- 三個失敗示範套用行銷腔的內容、查無來源的具體主張、跟舊文章開場雷同的重複哏,三種都會在「天真模式」下被判定可發布,只有加上關卡的「嚴格模式」才擋得下來。
- 不是要一整套平台,是五道會擋下東西的關卡格式驗收、語氣或領域規則、查證來源、去重比對、稽核紀錄,而且關卡要真的能擋下輸出,只會發警告的不算關卡。
時間軸
時碼點下去會跳到影片的那一段。
| 時碼 | 段落 | 重點 |
|---|---|---|
| 00:00 | 開場 | 警告獨自打造 agent 系統久了,會不知不覺開始打造一套完全不同的東西。 |
| 00:17 | 自我介紹 | Sumaiya Shrabony 用 Claude Code 打造涵蓋 writing、research、vault sync、analytics sync、hook、transcript 等功能的 agent 系統,最有用的心得是認出自己重造壞掉的五種控制機制。 |
| 00:51 | 系統背景 | 這套內容系統會讀知識庫、寫研究簡報、排內容計畫、產出內容,再跑驗證與審核關卡,最後存成 markdown;全程共七個交接點,每一個都可能出錯。 |
| 01:52 | 五個重造的起點 | 改一個 prompt 導致下游壞掉開始,逐步被逼著重造 regression testing、CI monitoring、contract testing、staging environment、audit trail。 |
| 03:20 | 標題由來 | agent 系統需要跟軟體一樣的維運保證,但預設什麼都沒有,逼開發者自己土法重造。 |
| 03:39 | 真正危險的失敗 | 危險的不是一眼能看出的壞輸出,而是外表完美、卻踩到聲音、查證、重複等關卡的成品。 |
| 04:15 | Demo:快樂路徑 | 展示內容產線正常運作、輸出看起來完整專業的樣子,點出這正是多數 agent demo 誤導人的地方。 |
| 05:07 | 失敗一:聲音跑掉 | 內容套用制式行銷語氣,在「天真模式」照樣過關,加上一道聲音關卡的「嚴格模式」才把它擋下。 |
| 06:24 | 失敗二:缺查證 | 內容做出具體主張卻查無來源,嚴格模式要求帶主張的內容一定要能追溯出處。 |
| 07:17 | 失敗三:重複開場 | 新內容的開場角度跟舊內容雷同,嚴格模式在去重關卡擋下並留下稽核紀錄。 |
| 08:41 | 五道關卡總結 | 提出前置格式、聲音或領域規則、查證來源、去重比對、稽核紀錄五道「無聊」關卡,取代一整套平台或框架。 |
| 09:52 | 收尾 | 建議畫出所有交接點的地圖,挑成本最高的那一個先做,關卡要真的能擋下輸出才算數。 |
值得記的話
名詞與人物
| Sumaiya Shrabony | 這場的講者,獨立打造一套用 Claude Code 建置的 agent 系統,涵蓋 writing、research、vault sync、analytics sync、hook、transcript 等功能。 |
|---|---|
| agent content system | 講者開源的內容產線系統,從讀取知識庫、寫研究簡報、排內容計畫到產出內容都由 agent 完成,最後跑驗證與審核關卡才存成 markdown。 |
| contract testing | 在系統交接點加上輸出格式驗證,確保上游環節改了輸出結構時,下游能立刻被擋下,而不是悄悄壞掉。 |
| staging environment | 在內容進入「ready」資料夾前先設一個檢查點,避免有問題的輸出直接被當成可發布的成品。 |
| audit trail | 記錄每個交接點與每次判斷的紀錄,讓系統半夜跑壞時不用重跑整條流程也能回溯是哪個關卡出問題。 |
| voice contract | 這場示範的第一道關卡,檢查輸出的語氣是不是套用制式行銷腔,而不是講者自己的聲音。 |
延伸
- 講者提到 agent content system 開源、連結在影片描述欄,但這場沒有展示程式碼或完整架構。
- 去重關卡怎麼比對舊內容庫、用什麼方法判斷「近似重複」,這場沒有說明技術細節。
- 系統本身還包含 vault sync、analytics sync 等功能,這場只用內容產線示範,沒有一一展開其他模組。