MarkTechPost· Asif Razzaq·· 18 天前精选AI 评分78
Polymathic AI 与普林斯顿等机构发布 FlashMap，Qwen3-8B 解码最高提速 6.14 倍
Polymathic AI and Princeton Researchers Release FlashMap, a Flow Map Drafter for 6.14x Faster LLM Decoding
AI 导读
Polymathic AI、普林斯顿大学、USC ISI、NYU 和 Flatiron Institute 的研究者发布 FlashMap，用连续 flow map 替代离散扩散草稿器，一次前向传播草拟 16 个 token 的整块。
借鉴点
能拿走的是用连续 flow map 一次草拟 16 token 的投机解码方案，配 vLLM 和 SGLang 插件即可接入现有推理服务；代价是要按目标模型单独训练 0.5B drafter，且温度大于 0 时需改采样配置。
来源：MarkTechPost · marktechpost.com