AI tutor 的 context 該不該壓縮

111Louis-François Bouchard, Omar Solano & Samridhi Vaid（Towards AI）63:262026-08-17 上架

Context Engineering in 2026 — Louis-François Bouchard, Omar Solano & Samridhi Vaid, Towards AI

Towards AI 拿自家的 AI tutor 比較各種 context 壓縮做法，結果在有快取的情況下，保留完整對話最便宜，也最記得住細節。

這場講了什麼

• 壓縮不一定划算：Louis-François 指出 provider 的 prompt caching 讓重送的舊 token 便宜很多，一旦摘要或壓縮改動了 context，快取就用不上，所以要壓縮超過 50 倍才值得，摘要可能是個陷阱。
• 預設值沒有量過：AI tutor 原本的設定（工具輸出超過 5,000 tokens 就清掉、超過 30,000 tokens 就摘要）是看起來不錯就上線。Omar 用評測回頭驗，發現完整保留歷史在召回、成本、延遲三方面都贏過這組預設，因為工具輸出一直被清掉，agent 只好重新檢索，反而多花 token。
• 換便宜模型結論不變：Samridhi 改用 DeepSeek V4 Flash 再測，快取折扣是 Gemini 的 50 倍，保留全部對話仍然最便宜，細節有 95% 答得出來，摘要後只剩 32%。
• 本機跑要換打法：本機硬體的 context window 最多 32K，單一課程就放不下，保留全部就不成立；學生貼上的長文件改用檢索，準確率可以到 100%。單靠語意搜尋到 400K tokens 會掉到零，所以要混 BM25。
• 最後的設定：他們選了 DeepSeek V4 Flash 加 hybrid retrieval，對話預設全部保留，超過 30K tokens 才 compaction。

影片從哪一段開始看22 段

1. 00:14開場：agent 越用越歪Louis-François 從跟 agent 越講越氣的經驗切入：問題多半不是模型變笨，而是 harness 與 context 讓結果越來越差。
2. 01:18為什麼拿 AI tutor 做實驗Towards AI 替 AI 工程師開課，附了一個依課程內容回答的 AI tutor；這場分享為了改善 context rot、降低成本做的一連串實驗，tutor 與實驗都開源，放在 Hugging Face space。
3. 03:57AI tutor 的五項需求答案要依據課程內容、限定在目前的課程、撐得住長時間除錯、能處理程式碼、延遲不能太高，這五點都跟 context engineering 有關。
4. 05:02兩個根本問題context window 有限、模型沒有狀態，所以分成單一 session 內的 context 管理與跨 session 的記憶，這場只做前者。tutor 看到的有 system prompt、工具定義、對話歷史、舊的工具輸出與檢索到的課程片段，其中舊的工具輸出是最大的瓶頸。
5. 08:47compaction 的各種做法先從便宜的做起：截斷過長的工具輸出、只留最近 N 輪、清掉特定工具的輸出；再花 token 省 token，用小模型做 selective retention 與摘要，或像 Claude Code 那樣到上限就摘要後整個重來。Delta summarization 適合 sub-agent，但他們的 tutor 只用一個 agent。
6. 11:51卸載到外部：RAG 與 LLM wikiGraphRAG 架起來貴很多，結果跟 RAG 打平。他們把內容切成互相連結的 chunks、連回原始檔，agent 先只看一份大約 450 tokens 的 index，再依任務複雜度決定拉多少。業界也在往更多、更小的 skill 走，用 progressive disclosure 一個一個載入。
7. 15:47快取讓摘要變陷阱每次追問都要重算所有舊 token，快取過的 token 只要十五分之一的價錢；壓縮會讓快取失效，所以要壓縮超過 50 倍才划算。Claude Code、Codex 這類 harness 都用 context caching，再搭配不同的壓縮方式。
8. 18:55實務建議話題大轉彎就清掉 session，用 progressive disclosure 控制檔案，清掉用不到的舊工具輸出，盡量讓快取命中；可以用 model router 省成本，並記錄 cache hit rate、使用者的挫折訊號與異常長的輸出。
9. 22:24tutor 的系統架構Omar 接手介紹：tutor 是一個 ReAct 型 agent，用 LangChain 的 create agent 與 middleware 做摘要、清工具輸出與讓使用者選來源，不保存過去的對話；另有一個 hybrid search 工具與後來加的知識庫瀏覽工具，前面接 Next.js UI。
10. 24:48語料與 hybrid search 流程語料是兩年來的所有課程，加上 LangChain、LlamaIndex、OpenAI 與 Claude Code 的文件，超過 8 million tokens。先依使用者選的來源過濾，從 embedding index 取 top 30，與關鍵字搜尋的結果合併後重排取前五，回傳上限 100,000 tokens；這組參數是量過檢索召回才定的。
11. 27:52讓 agent 自己逛知識庫第二個工具讓 agent 用唯讀的 bash 指令逛 raw 資料夾、標題索引，以及借用 Karpathy 想法、由 Claude Code 生成的主題 wiki，限制是 8 秒、40,000 字元、每輪 20 個指令。約 90% 的回合都會用到它，但召回跟只用第一個工具一樣，還慢了 50%；Omar 猜是學生的問題不夠複雜。
12. 32:28原本的預設值工具輸出超過 5,000 tokens 就清掉，歷史超過 30,000 tokens 就摘要、保留最近 20 則訊息，再加上來源偏好；Omar 說這些都是沒驗證過的預設值。
13. 33:36示範與逐輪記錄在 Hugging Face space 用 Gemini 3.5 Flash 示範一次提問。每一輪都記下輸入輸出 token、快取量、成本、首 token 時間、工具呼叫次數與有沒有做摘要；要量，是因為這些聽起來很聰明的技術有時反而有害。
14. 36:28評測設計先定義 preset、task、run、bundle。單輪任務用從學員問答網站撈下來的 60 組問答，自動檢查有沒有找對課程，答案內容交給 LLM 評分；session 任務讓假學生先講一個事實，塞進大量填充訊息，再用 probe 問題看 tutor 還記不記得。
15. 42:36結果：什麼都不動最好跑了 11 組 preset，花了超過 $500。不動歷史的 full history 在召回、成本、延遲都贏，production 預設不是最好的；原因是工具輸出被清掉後 agent 得重新檢索。單輪任務 token 不夠多，各組召回都很高。
16. 47:10延伸實驗要回答什麼Samridhi 接手：前面的評測花了將近 $600，接下來要回答到底該不該 compact，分成快取對話、文件加工具輸出、本機與放大規模三種情境。
17. 49:32換成 DeepSeek V4 FlashDeepSeek 的快取折扣是 Gemini 的 50 倍，保留全部 context 仍然最好。拿真實學生對話問細節，保留全部有 95% 答對，摘要後只剩 32%；送最多 token 的 full history 反而最便宜，因為 97% 的 token 命中快取。36 輪的對話大約 1.78 million tokens。
18. 53:37更長的對話對話拉長到 800K tokens，明確的單一事實都還找得到；語意模糊的事實表現掉到一半，但對 tutor 來說夠用。
19. 54:38放大規模與本機模型每天 100,000 到一百萬的提問量，DeepSeek 一個月約 18,000 到 180,000，於是試本機模型。硬體最多撐 32K 的 context window，單一課程就超過；放不下之後快取沒用，保留全部不再贏。從 7B、8B 換到 32B，context window 也不會變大。
20. 57:29本機文件檢索學生貼上太長的文件時，本機用檢索能拿到 100% 準確率，耗時 25 到 65 秒；硬塞超過視窗的內容要大約 340 秒，只吐出一個 token。dense RAG 在 50K 到 200K tokens 大約 80%，到 400K tokens 掉到零，BM25 每次都 100%，所以 tutor 用兩者混合的 hybrid search。
21. 59:38本機與雲端對照聊天記憶上，雲端保留全部有 92% 到 95%，本機卡在大約 33%，瓶頸是 context window；本機沒有 token 費用但有吞吐量限制，搭配檢索仍有不錯的準確率。
22. 1:00:32結論與最終設定以 1,000 位學生算，Gemini 一個月大約 $40,000、DeepSeek 大約 $1,900。不要預設就壓縮，先講清楚自己的限制。最後選 DeepSeek V4 Flash 加 hybrid retrieval，對話全部保留，超過 30K tokens 才 compaction。

值得記的話5 句

• for compaction to be worthwhile, you need to compress by more than 50 times the context.要讓壓縮划算，你得把 context 壓縮超過 50 倍17:13

• So ultimately it means that summarization is potentially a trap.所以說到底，摘要可能是個陷阱18:07

• Not doing anything is actually better.什麼都不做其實比較好44:06

• the cheapest run is actually the one which is sending the most tokens最便宜的那一組，其實是送出最多 token 的那一組1:00:51

• do not compact by default. You have to name the constraint that you have,不要預設就壓縮，你得先講清楚自己的限制是什麼1:01:29

名詞與人物12 個

Towards AI

Louis-François 與合夥人創辦的公司，旗下 academy 替 AI 工程師開技術課程，AI tutor 是給學員用的功能

AI tutor

依課程內容回答學員問題的 agent，是整場實驗的基準，程式與實驗都公開在 Hugging Face space

context rot

context 塞得越多，模型回答品質越差的現象，是這場想解決的核心問題

compaction

讓 context 盡量小、只留回答需要的資訊，其餘丟掉或存到別處

prompt caching

provider 存下已送過 token 的計算結果，重送時用很低的價格重用；壓縮或改寫 context 會讓它失效

Delta summarization

Louis-François 說 Claude Code 用的做法：持續更新一份摘要，適合 sub-agent 回報給主 agent

LLM wiki

把內容存成互相連結的 chunks、連回原始檔，再給 agent 一份小 index 的外部記憶做法

progressive disclosure

需要的時候才載入 skill 或檔案內容，用來節省 context

hybrid search

結合 embedding 語意搜尋與 BM25 這類關鍵字搜尋，合併後重排

preset / task / bundle

Omar 的評測用語：一種 tutor 設定、一類任務、一次跑完存下的 JSON 結果

Gemini 3.5 Flash

第一輪評測與 tutor 示範用的模型

DeepSeek V4 Flash

Samridhi 延伸實驗用的便宜模型，也是最後選定的模型

提到但沒有展開

• 截斷過長的工具輸出時，Louis-François 建議只留頭尾，並寫明被截斷了，模型之後覺得資訊不夠可以自己再呼叫一次那個工具。
• session 任務的例子：假學生在第一輪說想學 RAG evaluation，中間塞滿填充訊息，最後問「今天該學什麼」，期待 tutor 答出 RAG evaluation，例如 hit rate 與 MRR。
• Omar 說 LLM 評分可以用 Claude Code 或 Codex 的訂閱來跑，比直接打 API 便宜。

Agent評估開源

在 YouTube 看原片 ↗