KDA改变推理缓存条件，SGLang与vLLM适配
热点事件历史事件
KDA改变推理缓存条件，SGLang与vLLM适配
1 篇报道1 个报道来源10 天前更新
先了解这件事
AI 综述
KIMI K3 混合注意力中的 KDA 把历史压缩成固定的 recurrent state 和 convolution state，使推理框架的 Prefix Cache 与 KV Cache 不再等价。罗西的思考发布的技术解析文章称，缓存恢复点必须是 MLA KV 与这两类状态同时齐全的共同边界，否则无法保证正确性。 文章前半部分解释 KDA 为何改变推理缓存的正确性条件，以及 SGLang 与 vLLM 如何在不破坏正确性的前提下节省显存和重算；后半部分给出两家框架源码中对应文件与关键函数的导航。 该解析为全 CPU 复刻，不涉及 GPU、大规模训练和硬件；文中行号基于本地源码快照，源码变动后行号可能移动，但函数名和调用关系仍可作为定位入口。
AI 根据报道生成 · 10 天前更新
最新进展11月5日 20:41
KIMI K3 的 KDA 给推理系统带来哪些挑战，SGLang 与 vLLM 如何应对报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- 掘金精选KIMI K3 的 KDA 给推理系统带来哪些挑战，SGLang 与 vLLM 如何应对
文章解释 KIMI K3 混合注意力中的 KDA 把历史压成固定 recurrent state 和 convolution state，使 Prefix Cache 与 KV Cache 不再等价，恢复点必须是 MLA KV 与两类状态都齐全的共同边界。