KVGuard：检测LLM服务KV缓存内存安全
热点事件历史事件
KVGuard：检测LLM服务KV缓存内存安全
1 篇报道1 个报道来源10 天前更新
先了解这件事
AI 综述
Jonguk Cheong 等研究者提出 KVGuard，一种针对 LLM 服务系统 PagedAttention KV 缓存的内存安全抽象与检查工具，可检测 double-free、use-after-free、越界访问等五类安全问题。 据论文称，在 vLLM 和 SGLang 上的原型覆盖了两个系统补丁历史中收集的全部 29 个真实 KV 缓存安全缺陷，并新发现 8 个此前未知的安全违规，且未报告误报。 论文称，在 Qwen 2.5 14B 上，KVGuard 给 vLLM 和 SGLang 分别增加 3.0% 和 7.4% 的 TPOT 几何平均开销，内存开销至多占 KV 缓存的 0.11%，比同工作负载下的 NVIDIA Compute Sanitizer 低两个数量级。
AI 根据报道生成 · 10 天前更新
最新进展11月5日 18:22
KVGuard：面向 LLM 服务系统的 KV Cache 内存安全检查器报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- Hacker News · AI 讨论KVGuard：面向 LLM 服务系统的 KV Cache 内存安全检查器
KVGuard 是首个针对 LLM 服务系统 KV Cache 管理的系统性内存安全抽象，可检测 double-free、use-after-free、越界访问等五类基于 PagedAttention 块设计的安全问题。