掘金· 罗西的思考·2026-11-02 20:30· 13 天前AI 评分62用 CPU 复刻 KIMI K3 的 KDA 注意力:按 channel 控制遗忘【轻量化复刻大模型 / KIMI K3】KDA:按 Channel 控制遗忘AI 导读作者用纯 CPU 的 PyTorch 代码复刻 KIMI K3 的 KDA(Kimi Delta Attention),拆解其状态递推、有界衰减、低秩 channel-wise decay 和输出门等组件。来源:掘金 · juejin.cnKimi / 月之暗面推理能力开源生态教程实践#教程/实践#推理#开源/仓库查看事件全部后续