agent 走進群組與眼鏡

061Sai Krishna Rallabandi19:082026-07-29 上架

Wearing the Agent: From Group Chats to Glasses — Sai Krishna Rallabandi

Sai Krishna 拿自己在親友群組裡跑了八個月的 agent 當例子，談 agent 從服務一個人變成服務一群人之後，守門、記憶與資訊該送給誰這三件事要怎麼設計。

這場講了什麼

• 客戶不再只有一個人：Sai Krishna 觀察到，現在做的 agent 幾乎都只服務一位使用者；下一代可能要服務一個群組，還會戴在眼鏡上整天開著。自己做的 Judith 已經在朋友與家人的群組裡跑了八個月。
• 在動作邊界守門，不在輸入：群組訊息、截圖、GitHub issue、電子郵件都是攻擊面，不可能全擋在門外。做法是讓 agent 照常讀，等它要執行動作時再用確定性規則把關，上面再訓練一個小模型補強。
• 單靠靜態掃描不夠：Sai Krishna 引的論文指出，兩個各自通過靜態掃描的 skill 放在一起跑，可能變成有害的組合。
• 記憶才是群組 agent 的本體：模型只是引擎，群組裡的記憶會即時演變，所以存什麼、怎麼取回、什麼時候忘都要設計。做法包括抽出原子事實，以及持續更新的相關性評分。
• 同一筆資料，換個場合就從公開變私密：Sai Krishna 提出共用記憶層，再替每位使用者各掛一個 adapter，用模型本身而不是程式碼來管權限；另外也在做判斷 agent「什麼時候該開口」的分類器。
• 路由是把資訊送給對的人：這裡的 routing 不是為了省 token 的模型路由，而是資訊最後該交到誰手上。開場的例子裡，有人在群組問怎麼去會場，Judith 因為隱私考量改用私訊回答；開車時則選擇從眼鏡講，不透過車上的喇叭。

影片從哪一段開始看14 段

1. 00:13開場與前提整場大會都在談 agent，現在一個下午就做得出一個能用的 agent，這場要往前看接下來會變成什麼樣子。
2. 01:27客戶只有一人Claws、Nemo Claw 和企業內的程式助理都只服務一個人；下一個 agent 可能面對一群人，還會戴在眼鏡上整天開著。
3. 02:29Judith 的實際例子被問路時改用私訊、幫夫妻倆對行事曆、開車時只在眼鏡裡講、整理朋友間拉長的討論、陪三歲的女兒學東西。
4. 05:21三個主題這場聚焦群組 agent 的三件事：決定放什麼進來的守門、記憶，以及資訊要送給誰的路由。
5. 05:57安全層：攻擊面太大模型產生幻覺時可以檢查輸出，agent 卻還會對外動手；網頁、群組訊息、GitHub issue、電子郵件都是入口，沒辦法全部擋掉。
6. 07:41論文：安全的 skill 湊在一起一個 OCR skill 加一個報告 skill，靜態掃描都乾淨，一起跑卻可能出事；論文觀察到約 90% 的攻擊有這種情形。
7. 09:12在動作邊界做確定性守衛讀 bash 變數、匯出資料、讀設定裡的密鑰這類動作，用 regex 或傳統 NLP 判斷，分成放行、需要核准等三類；確定性規則快，不拖延遲。
8. 10:04用小模型分開資料與指令用 LoRA 微調一個 SLM，把資料通道和指令通道分開，只放行無害的內容；在 inspect agent 上，單純做法約 50%，等於擲硬幣，訓練的模型再往上改善。
9. 12:13記憶就是 agent 本身模型只是引擎，群組裡的記憶即時在變，存、整理、遺忘都要小心；存得越少，延遲與 token 用量都越好。
10. 13:23存什麼：原子事實不要全部存下來再一直壓縮，改抽出日後用得到的原子事實，再用評估器檢查抽取、階層關係、時間因素與取回對不對。
11. 14:54忘什麼與 KV cache訓練簡單的模型或 SLM 持續評分哪些內容重要，就能依知識做壓縮；不論雲端或本機服務，攝取引擎都要顧到 KV cache。
12. 16:34隱私：共享助理是社會契約購物清單誰看都無妨，薪水與健康狀況就看場合；資料沒變，變的是它所在的房間。
13. 17:25共用記憶層與何時開口共用記憶層加上每位使用者的 LoRA adapter，把權限做進模型；判斷 agent 何時可以說話的分類器還在做。
14. 18:20結語做群組 agent 的 harness，至少要多顧三件事：安全層、記憶設計，以及資訊送給誰。

值得記的話5 句

• almost every agent we build today has the customer of size one.我們現在做的 agent，幾乎都只有一個客戶01:27

• we can't read our way or we can't model, check our way to safety.這是一篇近期論文的結論：靠讀過一遍或靠模型檢查，都換不到安全07:41

• the model is just the engine especially when it comes to a group chat尤其在群組聊天裡，模型只是引擎12:33

• it's almost a new social contract.它幾乎是一種新的社會契約16:34

• the data has not changed, the room in which it is deployed has changed.資料沒有變，變的是它所在的房間17:08

名詞與人物7 個

Judith

Sai Krishna 做的 agent，在朋友與家人的群組裡跑了八個月，這週也放進了大會參加者的群組

原子事實（atomic facts）

從群組對話抽出、日後可能用到的最小資訊單位，取代整段存下再壓縮

SLM

小型語言模型，這場用 LoRA 微調來偵測資料裡的惡意內容，也拿來評分記憶的重要性

inspect agent

Sai Krishna 拿來測試守衛的 benchmark 資料集之一

KV cache

服務記憶時要顧到的快取，對模型做太花俏的改動會讓它失效

When Safe Skills Collide

Sai Krishna 引的論文，指出表面無害的兩個 skill 一起執行可能變成有害

Learning What Not to Forget

Sai Krishna 引的論文，學一個持續評分的相關性評分器

提到但沒有展開

• Sai Krishna 的指導教授說過：工程師辛苦解完一個問題，才發現問題本身已經變了。agent 從單人走到群組，可能就是這種時刻。
• 過去六到八個月，已經有人在受控的情境下試著把 agent 放進群組，看它表現如何。
• 另一篇論文 runtime skill audit 發現，通過靜態掃描的程式碼到了執行時仍可能出問題。
• 有一種攻擊把字母用句點隔開（例如 I.L.I.K），regex 與多數靜態做法都會漏掉，Sai Krishna 認為學出來的模型比較有機會抓到，這也是要訓練模型的原因。

Agent安全研究

在 YouTube 看原片 ↗