跳到正文
掘金· 罗西的思考·· 15 天前AI 评分62

罗西的思考用全 CPU 代码复刻线性注意力演进路线

【轻量化复刻大模型】线性注意力(Linear Attention)

AI 导读

罗西的思考发布《轻量化复刻大模型》系列中的线性注意力一篇,用纯 PyTorch 全 CPU 代码把从 Linear Attention 到 Kimi Linear(KDA)的演进逐级实现,每个主要组件配可直接运行的 Gradio demo。

来源:掘金 · juejin.cn