罗西的思考用CPU复刻Kimi K3 KDA并行与Serving
先了解这件事
作者“罗西的思考”连续发布文章，用全 CPU 的 PyTorch 代码复刻 Kimi K3 中 KDA（Kimi Delta Attention）的并行机制与 serving 基础设施，并配套无需 GPU 的 Gradio 演示。并行篇实现 chunkwise 并行、KDA 上下文并行（KCP）与解码缓存 KDACache；作者说明 parallel/kcp.py 是 CPU/单进程的等价模拟，并非已接入 torch.distributed 的生产多卡实现。 最新的 serving 篇把 KDA 推理服务拆成统一页池、双粒度前缀缓存、投机解码投影重放、RawInputRing 环形缓冲、KCP 上下文并行和 Fleet 层调度六个组件分别复刻。作者限定：KCP 用单进程分段模拟多个 rank，不做真实多机通信与 TP/DP 调度；也不做真实 1M token 计算，代价用公式折算成时间。 这些复刻均不涉及 GPU、大规模训练和硬件。
AI 根据报道生成 · 9 天前更新
事件进展
3 个进展
- 11月6日 15:07 · 1 篇报道发布KDA Serving基础设施设计与实现教程掘金：KIMI K3 的 KDA Serving 基础设施设计与实现：六个组件的 CPU 复刻
- 11月4日 21:11 · 1 篇报道发布KDA模块交互式Gradio演示掘金：罗西的思考用 Gradio 做 KIMI K3 KDA 模块交互式演示
- 11月3日 21:29 · 1 篇报道发布KDA并行机制技术解析掘金：Kimi K3 的 KDA 并行部分复刻：chunkwise 并行、KCP 上下文并行与解码缓存
报道时间线
沿着报道，了解事件的不同侧面。
- 掘金KIMI K3 的 KDA Serving 基础设施设计与实现：六个组件的 CPU 复刻
作者用全 CPU 方式复刻 Kimi K3 中 KDA 注意力的 serving 基础设施，拆成统一页池、双粒度前缀缓存、投机解码投影重放、RawInputRing 环形缓冲、KCP 上下文并行和 Fleet 层调度六个组件。
- 掘金罗西的思考用 Gradio 做 KIMI K3 KDA 模块交互式演示
罗西的思考发布 KIMI K3 中 KDA（Kimi Delta Attention）模块的 Gradio 交互式演示，全 CPU 运行、无需 GPU，用 15 个 Tab 覆盖 ShortConv、SiTU-GLU、KDA 递推与分块并行、有界衰减、KCP 前缀扫描和 3:1 KDA/MLA 调度。
- 掘金Kimi K3 的 KDA 并行部分复刻：chunkwise 并行、KCP 上下文并行与解码缓存
作者发布轻量化复刻 Kimi K3 中 KDA（Kimi Delta Attention）的第二篇，专讲并行部分，用全 CPU 的 PyTorch 代码实现 chunkwise 并行、KDA 上下文并行（KCP）与解码缓存 KDACache。