罗西的思考发布线性注意力全CPU复刻教程
热点事件历史事件
罗西的思考发布线性注意力全CPU复刻教程
2 篇报道1 个报道来源13 天前更新
先了解这件事
AI 综述
罗西的思考发布《轻量化复刻大模型》系列中的线性注意力一篇，用纯 PyTorch 全 CPU 代码逐级实现从 Linear Attention 到 Kimi Linear（KDA）的演进路线，每个主要组件都配有可直接运行的 Gradio demo，无需 GPU。作者将大规模训练和硬件列为另一个领域，未纳入本次范围。 后续一篇转向复刻 KIMI K3 的 KDA（Kimi Delta Attention），拆解状态递推、有界衰减、低秩 channel-wise decay 和输出门等组件。作者称因文章过长，该内容分为两期发布，此次为第一部分；同样采用全 CPU 复刻，不涉及 GPU、大规模训练和硬件。
AI 根据报道生成 · 13 天前更新
最新进展11月2日 20:30
用 CPU 复刻 KIMI K3 的 KDA 注意力：按 channel 控制遗忘事件进展
2 个进展
- 11月2日 20:30 · 1 篇报道发布KDA原理与CPU复刻教程第一部分掘金：用 CPU 复刻 KIMI K3 的 KDA 注意力：按 channel 控制遗忘
- 10月31日 15:56 · 1 篇报道罗西的思考发布线性注意力全CPU复刻教程掘金：罗西的思考用全 CPU 代码复刻线性注意力演进路线
报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- 掘金用 CPU 复刻 KIMI K3 的 KDA 注意力：按 channel 控制遗忘
作者用纯 CPU 的 PyTorch 代码复刻 KIMI K3 的 KDA（Kimi Delta Attention），拆解其状态递推、有界衰减、低秩 channel-wise decay 和输出门等组件。
10月31日
- 掘金罗西的思考用全 CPU 代码复刻线性注意力演进路线
罗西的思考发布《轻量化复刻大模型》系列中的线性注意力一篇，用纯 PyTorch 全 CPU 代码把从 Linear Attention 到 Kimi Linear（KDA）的演进逐级实现，每个主要组件配可直接运行的 Gradio demo。