掘金· 罗西的思考·· 10 天前精选AI 评分75
KIMI K3 的 KDA 给推理系统带来哪些挑战，SGLang 与 vLLM 如何应对
【轻量化复刻大模型 / KIMI K3】KDA 对 AI Infra 的挑战与各家应对
AI 导读
文章解释 KIMI K3 混合注意力中的 KDA 把历史压成固定 recurrent state 和 convolution state，使 Prefix Cache 与 KV Cache 不再等价，恢复点必须是 MLA KV 与两类状态都齐全的共同边界。
借鉴点
能拿走 SGLang 与 vLLM 对 KDA 状态缓存的具体源码入口和函数名，落到本地模型部署这条线，前提是接受 checkpoint 密度换显存与重算的取舍，且 INT8 checkpoint 并非默认开启。
来源：掘金 · juejin.cn