Hacker News · AI 讨论· wslh·2026-10-31 23:34· 15 天前AI 评分58

GAAC：面向更快 LLM 推理的无损 KV Cache 压缩

GAAC: Lossless KV Cache Compression for Faster LLM Inference

AI 导读

论文提出 GAAC，一种无损 KV 压缩与 serving 系统，利用指数冗余把 BF16 指数编码为按通道校准的 base-plus-offset 码，在五个测试模型上实现 1.405-1.407 倍无损 BF16 KV 压缩。