掘金· Topskys·· 19 天前精选AI 评分72
DeepSeek 稀疏注意力 DSA 拆解:索引器、Top-k 选择与两阶段训练
DeepSeek 稀疏注意力
AI 导读
DeepSeek 在 V3.2-Exp 中引入的 DSA 用一个轻量索引器给每个 query 的历史 token 打分,只把分数最高的 2048 个 KV 条目送进精确注意力,主注意力复杂度从 O(L²) 降到 O(Lk)。
借鉴点
能拿走 DSA 的索引器配置(64 头 128 维、topk 2048、FP8)和两阶段训练配方,落到本地模型部署与长上下文推理线;代价是动态 Top-k 依赖 SGLang、vLLM 专用内核,短文本几乎无收益。
来源:掘金 · juejin.cn