掘金· 用户36005557900·· 12 天前精选AI 评分78
Kestrel_VLLM 第 30 篇:Qwen3.5-27B 的 MTP 投机草稿头适配与自造基准验证
Kestrel_VLLM - 30 · MTP 头适配:十五个张量与一个不存在的 oracle
AI 导读
作者在 x86-64 + CUDA 后端上为 Qwen3.5-27B 的 MTP 投机草稿头完成 CPU 侧适配,梳理出 15 个张量(另 2 个与主模型共享)和 stem 加 1 层 full attention 加 1 层 FFN 的结构,模块级对拍 11 阶段 × 5 token 全部 PASS,max_rel 在 1.5e-6 到 3.4e-6。
借鉴点
能拿走 MTP 头 15 张量清单、stem 接线和四个写反也跑得动的口径点,落到本地模型部署的投机解码线上;代价是没有官方 oracle,基准得自己造,且只能证单侧笔误。
来源:掘金 · juejin.cn