跳到正文
掘金· 罗西的思考·· 13 天前AI 评分62

用 CPU 复刻 KIMI K3 的 KDA 注意力:按 channel 控制遗忘

【轻量化复刻大模型 / KIMI K3】KDA:按 Channel 控制遗忘

AI 导读

作者用纯 CPU 的 PyTorch 代码复刻 KIMI K3 的 KDA(Kimi Delta Attention),拆解其状态递推、有界衰减、低秩 channel-wise decay 和输出门等组件。

来源:掘金 · juejin.cn