用限制駕馭 agent 的幾條心得

概要

• 廣告公司的 agent 用法Angus 任職的 Oliver 每天產出約 4,000 件素材，創意與策略工作都已經用 agent 做。他們用 agent 主要為了速度，其次是規模。
• LLM 的核心沒變Angus 認為今天的模型不真正理解資料，仍有資料效率與無法持續學習的限制，多數工具其實都是在替這些限制貼 band-aid。
• Context 是軟限制Angus 把 context 看成跟 guardrail 一樣的限制手段，可以間接塑造模型的表現，舉的例子是不給模型上網，改餵高品質文件，結果比較好。
• 限制逼出創意現在的問題從 context 不夠變成太多，重點在把雜訊擋在外面。Angus 建議刻意自我設限，試試看最少用多少 context 就能完成任務。
• 先做簡單版本Angus 拿自己做履歷的經驗說，複雜的應用程式不如直接要模型產出 HTML。模型傾向給最複雜的解法，所以要盡快讓想法撞上現實。
• AI 本質上是翻譯不同資料可以轉成共通的內部表示再轉成別的形式，所以建系統時最好同時用多種表示結構，例如 Markdown、圖關係、分群、資料夾與時間軸。

原話

• “So context is sort of like a soft constraint rather than a hard constraint.”

  context 比較像軟限制，而不是硬限制

  ▶ 07:58

• “The challenge is no longer getting context in but to a certain extent keeping the noise out.”

  挑戰已經不是把 context 放進去，而是某種程度上把雜訊擋在外面

  ▶ 09:15

• “Models are naturally verbose, and they tend towards complexity.”

  模型天生囉嗦，也傾向走向複雜

  ▶ 12:05

• “So AI at its core is just translation.”

  AI 的核心其實就是翻譯

  ▶ 12:22

延伸

• Angus 說對廣告業來說，LLM 封閉的最大代價是趨勢辨識：太新的東西模型根本認不得。
• Angus 放了 Rosenblatt 在 perceptron 上拔線的照片，說那後來成了 dropout 的基礎，用來說明自己動手碰底層，總有一天會派上用場。
• Angus 建議可以實驗性地自己做 harness、記憶與 compaction，並重視前處理與封存；特別說這是實驗，不建議直接用在正式環境。