跳到正文
掘金· 罗西的思考·· 9 天前AI 评分62

KIMI K3 的 KDA Serving 基础设施设计与实现:六个组件的 CPU 复刻

【轻量化复刻大模型 / KIMI K3】KDA Serving 基础设施 — 设计 / 实现

AI 导读

作者用全 CPU 方式复刻 Kimi K3 中 KDA 注意力的 serving 基础设施,拆成统一页池、双粒度前缀缓存、投机解码投影重放、RawInputRing 环形缓冲、KCP 上下文并行和 Fleet 层调度六个组件。

来源:掘金 · juejin.cn