DeepSeek 发布 V4.1-Flash 开源权重模型,采用因果编码器-解码器架构
DeepSeek 发布 V4.1-Flash 开源权重模型,采用因果编码器-解码器架构,输入侧激活 8B 参数、输出侧激活 16B 参数,主打推理效率与低成本。
借鉴点
能拿走的是 890 bytes/token 的 KV 压缩思路和 SSD 流式卸载跑全精度权重的做法,可落到本地模型部署线;代价是 763B 总参数仍需 256GB 内存加 64-96GB 显存,吞吐只有个位数到几十 tok/s。
公司与模型
DeepSeek(深度求索)的模型发布、开源权重、技术报告与 API 价格变化。
41 条精选近 30 天 40 条共收录 220 条
DeepSeek 发布 V4.1-Flash 开源权重模型,采用因果编码器-解码器架构,输入侧激活 8B 参数、输出侧激活 16B 参数,主打推理效率与低成本。
能拿走的是 890 bytes/token 的 KV 压缩思路和 SSD 流式卸载跑全精度权重的做法,可落到本地模型部署线;代价是 763B 总参数仍需 256GB 内存加 64-96GB 显存,吞吐只有个位数到几十 tok/s。