擺脫 context 視窗的三個教訓

概要

• context 管理是產品問題Sally-Ann 認為 context 不只是塞進視窗的量，而是策略性地挑模型該看什麼；agent 拿不到對的資料就會給爛答案，沒人會想用。
• 自己用自己的惡性循環團隊用 Alex 來分析 trace 與 span 資料，資料越長越撞到 context 上限，Alex 失敗後重試又加更多資料，繼續失敗。
• 兩種做法先後被放棄一開始只留前 100 個字元，後續追問就像全新對話；改用 LLM 摘要，又因為重點由模型自己決定，結果不穩。
• 現行方案是截斷加記憶保留頭尾各 100 個字元，中間存進記憶，Alex 需要時可以回頭取；Sally-Ann 說這幾個月沒再動過。
• 長對話要有自己的評估使用者不愛開新對話，問題往往到很後面才浮現，所以他們做了 long session evals，讓這類 bug 可以測。
• 重活丟給子 agent搜尋 trace 要跑很多查詢與中間推理，這些放在子 agent 裡，主對話只留聊天內容，維持輕量。

原話

• “context management is a product in a ux problem not just an engineering one”

  context 管理是產品與 UX 問題，不只是工程問題

  ▶ 03:29

• “So context decides what the model sees, memory decides what survives”

  context 決定模型看到什麼，記憶決定什麼留得下來

  ▶ 07:47

• “I think I was surprised the most by the fact that summarization didn't work.”

  我想最讓我意外的，是摘要沒用

  ▶ 10:51

• “We don't really have a principled context budget or clear metrics for context quality yet.”

  我們還沒有原則性的 context 預算，也沒有明確的 context 品質指標

  ▶ 13:00

延伸

• Sally-Ann 說 Alex 有 40 個以上的內建 skill，涵蓋 prompt optimization、data gen 等流程，但這場沒有展開。
• 長期記憶還在開發中，Sally-Ann 只說目前的記憶只是 context 的儲存區，沒有講設計。