自建 deep research 與寫作 agent

概要

• 先選最簡單的架構Louis-François 的原則是能用一個 prompt 就不要上 agent，能用固定步驟的 workflow 就不要上多 agent。舉的客服工單例子有六個固定步驟，所以做成 workflow。
• 研究與寫作拆開研究需要彈性、寫作需要約束，所以他們分成研究 agent 與寫作 workflow。兩者依序執行、不做編排，靠共用的 guideline 和 research 檔案交接。
• MCP 加 skill 的研究 agentSamridhi 的 server 提供 deep research、分析 YouTube 影片、整理 research.md 三個工具，用 Claude Code 當 harness，skill 則只先載入名稱與描述，執行時才載入全文。
• 三招控制寫作Paul 用結構化的 guideline、三份寫作 profile 與少量 few-shot 範例來約束輸出。審稿與修稿用不同 context window，迴圈跑固定次數。
• 審稿用結構化輸出審稿結果是附欄位說明的 Pydantic 物件，編輯依 guideline、研究、profile 的優先順序採納意見。
• 用 LLM judge 做 evals先建 pass 或 fail 的標註資料集，再校準 judge 的 F1 並用 test 切分驗證。現場的線上追蹤上 judge 全給 pass，Paul 說還要回頭擴充 dev 切分。

原話

• “we always want to use the simplest solution, if just a prompt works that's ideal”

  我們總是想用最簡單的解法，一個 prompt 就能搞定是最理想的

  ▶ 10:25

• “tools do the work and, you know, skills provide you the way to do it”

  工具負責做事，skill 則說明怎麼做

  ▶ 1:00:13

• “LLMs usually tend to be biased in liking what they already written”

  LLM 通常偏愛自己已經寫好的東西

  ▶ 1:22:00

• “you cannot just fully automate everything if you don't want to sound like through a slob”

  不想聽起來像 slop，就不能把一切全自動化

  ▶ 1:30:27

• “never ask the llm to directly generate the output always ask it to help you generate the input”

  合成資料時，別讓 LLM 直接生成輸出，只讓它幫你生成輸入

  ▶ 1:40:28

延伸

• Louis-François 提到有些 Claude Code 外洩內容中的壓縮方法值得研究，但這場沒有展開。
• Samridhi 說他們正從原本的 MCP prompt 轉向 skill，但因為 server 裡有許多細節，仍保留原本的複雜度。
• Paul 提到要降低 few-shot 對 system prompt 的負擔，唯一的辦法大概是 fine-tuning，但認為通常太費事，這場沒有往下做。