掘金· 罗西的思考·· 9 天前AI 评分62
KIMI K3 的 KDA Serving 基础设施设计与实现:六个组件的 CPU 复刻
【轻量化复刻大模型 / KIMI K3】KDA Serving 基础设施 — 设计 / 实现
AI 导读
作者用全 CPU 方式复刻 Kimi K3 中 KDA 注意力的 serving 基础设施,拆成统一页池、双粒度前缀缓存、投机解码投影重放、RawInputRing 环形缓冲、KCP 上下文并行和 Fleet 层调度六个组件。
来源:掘金 · juejin.cn