掘金· AI入职记·· 13 天前精选AI 评分74
Spring AI 流式对话两个隐藏成本：断连后模型仍在生成、会话记忆无上限
10 万个会话吃掉 1.1G 内存：Spring AI 会话记忆的两个隐藏成本
AI 导读
作者用 Spring AI 2.0.1 接 deepseek-chat 做流式对话，实测出两个不报错的坑：客户端断开后服务端与模型之间的流仍在消费 token，InMemoryChatMemoryRepository 只限单会话消息条数不限会话数量，10,000 个会话占 115 MB 堆内存，折算 10 万个约 1.1 GB。
借鉴点
能拿走 SseEmitter 断连检测加 dispose 取消上游订阅、Caffeine 给会话数设上限两段可照抄代码，落到本地模型部署和软件工厂的流式接口上，代价是内存数只是数量级、断连省下的 token 未实测。
来源：掘金 · juejin.cn