掘金· 罗西的思考·· 13 天前AI 评分67
Kimi K3 的 KDA 并行部分复刻:chunkwise 并行、KCP 上下文并行与解码缓存
【轻量化复刻大模型 / KIMI K3】KDA(Kimi Delta Attention):并行
AI 导读
作者发布轻量化复刻 Kimi K3 中 KDA(Kimi Delta Attention)的第二篇,专讲并行部分,用全 CPU 的 PyTorch 代码实现 chunkwise 并行、KDA 上下文并行(KCP)与解码缓存 KDACache。
来源:掘金 · juejin.cn