掘金· lucas_AI·· 24 天前AI 评分64
腾讯 D-Quant 用熵编码把 KV 缓存压到 2.26 比特，内存降 7 倍、吞吐升 3.5 倍
KV 缓存压到 2.26 比特性能不掉：腾讯把「压缩算法教科书」搬进了大模型推理
AI 导读
腾讯团队提出 D-Quant，用熵编码按数值分布给 KV 缓存分配位宽，压到 2.26 比特/元素仍接近 BF16 精度，KV 内存最多降 7 倍、解码吞吐升 3.5 倍，且免校准。
来源：掘金 · juejin.cn
腾讯 D-Quant 用熵编码把 KV 缓存压到 2.26 比特，内存降 7 倍、吞吐升 3.5 倍