第 7 站 · 上線與觀測該站第 7 / 12 場

獨自打造 agent 逼出的五道關卡

054Sumaiya Shrabony10:512026-07-11

Every Solo Agent Builder Eventually Reinvents a Worse Version of CI/CD - Sumaiya Shrabony

獨自打造 agent 逼出的五道關卡 —— Sumaiya Shrabony的演講縮圖

獨立打造 agent 系統的人，最終都會被逼著重造一套更糟的 CI/CD，這場示範怎麼用五道關卡守住輸出品質。

重點摘要

  • 獨自開發的代價：獨立建置 agent 系統久了，會在不知不覺間被逼著重造一整套維運機制，而且比正規 CI/CD 還糟，因為每一次交接都可能出錯，只有自己會發現。
  • 七個交接點，七個說謊的機會：講者的內容產線系統橫跨排程、研究、內容規劃、產出、驗證、審核到輸出資料夾，共七個交接點，每一個都是輸出可能被污染、卻沒人把關的地方。
  • 五個被逼出來的重造：從測試輸出格式（regression testing）、失敗告警（CI monitoring）、邊界驗證（contract testing）、上線前的檢查點（staging environment），到把每個環節都記錄下來（audit trail），五樣東西幾乎照固定順序被逼出來。
  • 真正危險的不是壞輸出：明顯壞掉的東西一眼就能抓到；真正麻煩的是外表完整、通過所有必要欄位，卻用錯語氣、講出沒有查證的主張，或跟舊內容撞哏的成品。
  • 三個失敗示範：套用行銷腔的內容、查無來源的具體主張、跟舊文章開場雷同的重複哏，三種都會在「天真模式」下被判定可發布，只有加上關卡的「嚴格模式」才擋得下來。
  • 不是要一整套平台，是五道會擋下東西的關卡：格式驗收、語氣或領域規則、查證來源、去重比對、稽核紀錄，而且關卡要真的能擋下輸出，只會發警告的不算關卡。

時間軸12 段

00:00開場警告獨自打造 agent 系統久了，會不知不覺開始打造一套完全不同的東西。
00:17自我介紹Sumaiya Shrabony 用 Claude Code 打造涵蓋 writing、research、vault sync、analytics sync、hook、transcript 等功能的 agent 系統，最有用的心得是認出自己重造壞掉的五種控制機制。
00:51系統背景這套內容系統會讀知識庫、寫研究簡報、排內容計畫、產出內容，再跑驗證與審核關卡，最後存成 markdown；全程共七個交接點，每一個都可能出錯。
01:52五個重造的起點改一個 prompt 導致下游壞掉開始，逐步被逼著重造 regression testing、CI monitoring、contract testing、staging environment、audit trail。
03:20標題由來agent 系統需要跟軟體一樣的維運保證，但預設什麼都沒有，逼開發者自己土法重造。
03:39真正危險的失敗危險的不是一眼能看出的壞輸出，而是外表完美、卻踩到聲音、查證、重複等關卡的成品。
04:15Demo：快樂路徑展示內容產線正常運作、輸出看起來完整專業的樣子，點出這正是多數 agent demo 誤導人的地方。
05:07失敗一：聲音跑掉內容套用制式行銷語氣，在「天真模式」照樣過關，加上一道聲音關卡的「嚴格模式」才把它擋下。
06:24失敗二：缺查證內容做出具體主張卻查無來源，嚴格模式要求帶主張的內容一定要能追溯出處。
07:17失敗三：重複開場新內容的開場角度跟舊內容雷同，嚴格模式在去重關卡擋下並留下稽核紀錄。
08:41五道關卡總結提出前置格式、聲音或領域規則、查證來源、去重比對、稽核紀錄五道「無聊」關卡，取代一整套平台或框架。
09:52收尾建議畫出所有交接點的地圖，挑成本最高的那一個先做，關卡要真的能擋下輸出才算數。

值得記的話5 句

  • Here's something nobody warns you about when you start building agents alone. You think you're building problems. You think you're building skills or workflow. If you build long enough, especially alone, you will start building something completely different.獨自打造 agent 久了，沒人會提醒你這件事：你以為自己在解決問題、做技能或流程，做久了其實你正在打造一套完全不同的東西00:00
  • So you build them independently, the worst version, without even realizing that you are building it. The dangerous failure in an agent system is never a bad output.你會獨自把這些東西重造成最糟的版本，卻渾然不覺；agent 系統裡真正危險的失敗，從來不是明顯的壞輸出03:20
  • Guarded mode blocks it: claim-bearing content cannot ship without a verification trail. Trust me is not a verifier.嚴格模式會擋下它：帶主張的內容沒有查證紀錄就不能出貨，「相信我」不能算是查證07:02
  • The output is new, the content looks technically coherent, but the hook — the opening angle — is a near duplicate of something from your vault history.輸出是新的，內容技術上也算通順，但這個鉤子，也就是開場角度，跟資料庫裡的舊內容幾乎重複07:33
  • Pick the most expensive handoff. Not the most complex, most expensive. The one where bad data can cost you the most.挑成本最高的那個交接點，不是最複雜的，是壞資料會讓你付出最大代價的那一個10:08

名詞與人物6 個

Sumaiya Shrabony
這場的講者，獨立打造一套用 Claude Code 建置的 agent 系統，涵蓋 writing、research、vault sync、analytics sync、hook、transcript 等功能。
agent content system
講者開源的內容產線系統，從讀取知識庫、寫研究簡報、排內容計畫到產出內容都由 agent 完成，最後跑驗證與審核關卡才存成 markdown。
contract testing
在系統交接點加上輸出格式驗證，確保上游環節改了輸出結構時，下游能立刻被擋下，而不是悄悄壞掉。
staging environment
在內容進入「ready」資料夾前先設一個檢查點，避免有問題的輸出直接被當成可發布的成品。
audit trail
記錄每個交接點與每次判斷的紀錄，讓系統半夜跑壞時不用重跑整條流程也能回溯是哪個關卡出問題。
voice contract
這場示範的第一道關卡，檢查輸出的語氣是不是套用制式行銷腔，而不是講者自己的聲音。

提到但沒有展開

  • 講者提到 agent content system 開源、連結在影片描述欄，但這場沒有展示程式碼或完整架構。
  • 去重關卡怎麼比對舊內容庫、用什麼方法判斷「近似重複」，這場沒有說明技術細節。
  • 系統本身還包含 vault sync、analytics sync 等功能，這場只用內容產線示範，沒有一一展開其他模組。

Agent開發工具評估

在 YouTube 看原片 ↗