替 coding agent 寫 skill 的六課

概要

• skill 是把 workflow 的可靠性形式化Marc 說過去要靠 router 把問題分給單一用途的 agent，現在 agent 可以逐步取得所需的 context，處理跨多個領域的問題；skill 就像 Rubik's Cube 的說明書。
• 導入 Langfuse 的痛點文件有 478 頁，Langfuse 又刻意不預設立場、只當基礎設施。Marc 指出 coding agent 靠舊的訓練資料寫出過時的 SDK 用法，要先裝錯、驗證失敗，才去抓最新文件，又慢又不夠貼合應用。
• skill 的做法SKILL.md 規範導入風格，例如做決定前先追問，再用各產品模組的 reference 逐步揭露細節，並讓 agent 用 curl 抓文件。Langfuse 本來就有各種 API，現在包成 CLI，讓 agent 能做原本要在 UI 裡點的事。
• 六個心得看 trace 就能抓到八成細節、幫 agent 找到文件的路、用 search endpoint 蒐集真實問題、先有基本的 eval 設定、動態內容要指向來源而不是複製、自動實驗受限於 target function。
• target function 決定結果他們用自動實驗改 prompt 遷移的 skill，六個建議收了三個。以輪數當目標時，agent 把抓文件那一步拿掉，等於否定了 skill 要拿最新資料的初衷。
• 還沒解的題skill 沒有 package management，裝進使用者環境後會過期；Marc 說他們傾向加時間戳記，過舊就重新抓取或提醒使用者。

原話

• “We always were like, no, no, we are infrastructure.”

  我們一向的態度是：不、不，我們是基礎設施；指 Langfuse 刻意不預設立場

  ▶ 04:28

• “looking at traces still gets you to 80% of the detail.”

  光看 trace 就能掌握八成細節

  ▶ 08:58

• “So again the target function really matters.”

  所以目標函數真的很關鍵

  ▶ 16:40

• “I think nobody reads documentation themselves.”

  我覺得沒有人會自己去讀文件

  ▶ 18:54

• “As a small team, I'm not excited about plug-in marketplaces”

  以小團隊來說，我對 plugin marketplace 提不起勁

  ▶ 22:36

延伸

• data region 的小插曲：他們原以為只有歐洲人在意資料放在哪，所以預設歐洲；後來發現美國企業也在意，才加了美國區。對 agent 來說多一個環境變數不費事，所以 skill 改成一律先問。
• 安裝 skill 前要不要先問使用者，Marc 的看法是只有 skill 比公開網路更受信任時才需要；信任層級一樣，就不必多問。
• 路線圖提到用 skill 自動化 eval 生命週期，例如建立與使用者偏好對齊的 LLM-as-a-judge，細節沒有展開。