掘金· 罗西的思考·· 17 天前AI 评分60
Linear Attention 与 Sparse Attention 梳理：从 Full Attention 到 CSA/HCA 的压缩路线
【轻量化复刻大模型】Linear Attention 与 Sparse Attention 梳理
AI 导读
作者以 KIMI K3 和 DeepSeek V4 为例，梳理 Linear Attention 与 Sparse Attention 两条压缩路线。
来源：掘金 · juejin.cn
Linear Attention 与 Sparse Attention 梳理：从 Full Attention 到 CSA/HCA 的压缩路线