Hacker News · 首页· gmays·2026-10-19 21:53· 27 天前AI 评分58投机解码为什么快:不是算得更少,而是把访存受限换成计算受限Why Is Speculative Decoding Fast?AI 导读投机解码变快不是因为每个 token 的计算量更少,而是把逐 token 解码时的访存受限工作换成了并行验证的计算受限工作,同样序列的 FLOPs 实际会增加。来源:Hacker News · 首页 · jbarrow.ai推理能力部署工程教程实践#教程/实践#推理#部署/工程查看事件全部后续