Hacker News · AI 讨论· sardor_r1·· 26 天前精选AI 评分74
vramkit 在 MacBook 上实测 LLM 权重与 KV-cache 压缩
Show HN: Vramkit – measuring LLM weight and KV-cache compression on a MacBook
AI 导读
vramkit 在 MacBook 上用纯 PyTorch 实测了 LLM 权重与 KV-cache 两种压缩方案，每个数字都带可运行基准。权重侧用 32 位区间编码器加二维自适应上下文模型，在 Qwen2.5-0.5B 真实 int4 权重上做到无损 2.676 bits/weight，比原始 4-bit 少 33%，优于 zstd-19 和 xz-9e。
借鉴点
可直接抄走 per-channel int8 量化 K、per-token 量化 V 的 KV cache 方案，2 倍压缩只涨 0.1% 困惑度，代价是流式解码要按 KIVI 分组并保留最新 token 为 fp16。
来源：Hacker News · AI 讨论 · github.com