IT之家·· 23 天前精选AI 评分72
MiniMax 开源 M3.1 Flash 模型权重,总参数 428B、激活 23B
MiniMax M3.1 Flash 开源模型权重,总参数 428B
AI 导读
MiniMax 稀宇科技宣布开源 MiniMax M3.1 Flash 的模型权重,总参数 428B、激活参数 23B,能力较上一代 M3 全面提升。该模型通过前三个全注意力层改为稀疏注意力、路由 MoE 专家迁移到 W4A4、稀疏注意力索引器和主分支从 Q8KV8 迁移到 Q8KV4,以及 Power-aware scheduling 提升推理效率。
借鉴点
能拿走的是稀疏注意力加 QAT 到 W4A4 的推理提速组合,可落到本地模型部署线;前提是得先有支持 W4A4 和 Q8KV4 的推理框架与芯片适配。
来源:IT之家 · ithome.com