量化部署元分析：INT4 小批量提速、大批量失效
热点事件历史事件
量化部署元分析：INT4 小批量提速、大批量失效
1 篇报道1 个报道来源10 天前更新
先了解这件事
AI 综述
三位独立研究者 Kadvani、Faujdar、Tallam 发布元分析论文，汇总截至 2026 年 10 月 5 日可核实的 9B–20B 开源模型在 vLLM/SGLang 上的量化公开实测，结论是量化提速高度依赖 batch 大小。 数据显示，batch 为 1 时 INT4 提速 1.35–2.12 倍；batch 升到 256 时，W4A16 仅剩 1.02 倍，增益基本归零，而 FP8 仍有 1.68 倍。作者称所有计时都符合内存带宽与计算的 roofline 规则，即小批量受带宽限制、大批量受算力限制。
AI 根据报道生成 · 10 天前更新
报道时间线
沿着报道，了解事件的不同侧面。
11月6日
- 掘金精选arXiv 综述盘点 9B–20B 开源模型量化部署实测：INT4 小 batch 提速约 2 倍，大 batch 增益归零
三位独立研究者汇总截至 2026 年 10 月 5 日可核实的 9B–20B 开源模型在 vLLM/SGLang 上的量化公开实测，发现所有计时都符合内存带宽与计算的 roofline 规则：batch 1 时 INT4 提速 1.35–2.12 倍，batch 256 时 W4A16 仅 1.02 倍，FP8 仍有 1.68 倍。