跳到正文
Hacker News · 首页· gmays·· 27 天前AI 评分58

投机解码为什么快:不是算得更少,而是把访存受限换成计算受限

Why Is Speculative Decoding Fast?

AI 导读

投机解码变快不是因为每个 token 的计算量更少,而是把逐 token 解码时的访存受限工作换成了并行验证的计算受限工作,同样序列的 FLOPs 实际会增加。

来源:Hacker News · 首页 · jbarrow.ai