掘金· 地平线开发者·· 19 天前精选AI 评分72
EAGLE 与 EAGLE-3 如何用特征预测加速投机解码
【大模型】EAGLE 与 EAGLE-3：用“特征预测“加速投机解码
AI 导读
文章讲解 EAGLE 与 EAGLE-3 如何借助 Target Model 的隐藏特征训练轻量 Drafter 来加速投机解码，最终候选仍由 Target 批量验证。
借鉴点
能拿走 vLLM 里 method=eagle/eagle3 的配置差异和 K 值调优思路，落到本地模型部署的 Decode 加速上，代价是 Drafter 权重与 KV Cache 额外占用，高并发下 K 过大可能负收益。
来源：掘金 · juejin.cn