AI 體驗卡關，問題在傳輸層

概要

• 預設的串流做法有天花板主流框架預設用 SSE，client 對單一 agent 建立單一連線。Mike 主張這種模式限制了 AI 產品能做出的體驗品質與豐富度。
• 好體驗靠三項能力Mike 說訪談過 40 多家公司，歸納出可續傳的串流、跨裝置的連續對話、agent 工作時的即時控制，是區分脆弱 demo 與好產品的關鍵。
• 根源是一切綁在單一請求串流的健康綁著 client 連線，連線一斷就沒了；連線又是私有管道，其他分頁與裝置看不到進度，也無法插話。
• Durable Sessions 把兩端拆開在 agent 層與 client 層之間放共享、持久、有狀態的 session，agent 直接寫入，client 隨時連上來重播或續傳。
• SSE 讓續傳與取消互斥因為只能單向，按停止只能關連線，agent 分不出是取消還是稍後重連。Mike 引 Vercel AI SDK 的文件，裡面也寫明 abort 與 resume 不相容。
• Ably 用 Channels 實作Channels 可獨立定址、持久、可續傳，Ably AI Transport 在上面處理事件還原、多工與多裝置分發，並以客服聊天 demo 示範。

原話

• “Many teams are doing this with a concept called Durable Sessions.”

  許多團隊用一個叫 Durable Sessions 的概念來做這件事

  ▶ 05:28

• “resume and cancel are mutually exclusive when you're using SSE in particular”

  尤其用 SSE 的時候，續傳和取消是互斥的

  ▶ 08:30

• “a bi-directional transport doesn't solve all of our problems automatically”

  雙向傳輸並不會自動解決我們所有的問題

  ▶ 09:06

• “They are persistent, which means the messages on the channel outlive the life cycle of any individual connection, any individual device, any individual agent”

  它們是持久的，意思是 channel 上的訊息比任何單一連線、單一裝置、單一 agent 的生命週期都長

  ▶ 13:41

• “There is no additional agent logic to make this work, right?”

  要讓這個運作，不需要任何額外的 agent 邏輯，對吧？

  ▶ 16:30

延伸

• Mike 給的 Ably 規模：每月超過 300 億次連線、超過 2 兆次 API 操作；過去一年訪談的是 10 個產業、40 多家公司。
• 斷線續傳的情境，Mike 舉的是：走出家門時手機從 Wi-Fi 切到 5G，或使用者重新整理頁面、離開再回來。
• 即時控制的例子是 Claude Code：看到它正在做什麼，就能送訊息引導、追加要求，不必等它做完。
• demo 裡在第二個分頁發起的子 agent 研究任務，可以從第一個分頁取消。