Qwen3.5-27B MTP 草稿头完成 CPU 与 CUDA 适配
先了解这件事
Kestrel_VLLM 在 x86-64 + CUDA 环境下为 Qwen3.5-27B 的 MTP 投机草稿头完成 CPU 侧适配，梳理出 15 个张量（另 2 个与主模型共享）及 stem 加 1 层 full attention 加 1 层 FFN 的结构，模块级对拍 11 阶段 × 5 token 全部 PASS，max_rel 在 1.5e-6 到 3.4e-6。作者称该对拍基准是 f32 / torch 转录参考，权重取自 .vqf 量化权重而非 f32 原件，与引擎实际运行口径一致，但不是乐观的 f32 上界。 随后作者把该草稿头从 CPU 搬到 CUDA，将其作为主模型之外的独立槽位（自带一层 KV 和游标），attention 核心从主模型第 L 层抽出两边共用。在 Qwen3.5-27B（q4）与 RTX 5090 上实测池增量 +8 entry / +227.8 MB（401→409），设备级逐级对拍 T=5、11 阶段 × 5 token 共 55 行全 OK，maxrel 6.2e-7~1.5e-5。 CUDA 接入由环境变量 VLLM_CUDA_Q35_MTP 控制，默认不设，此时不分配 MTP 槽位、不调 attach，主模型路径不变；设了则要求 DLL 中确有 MTP 符号，否则 attach 失败并打印。作者称该篇不产出加速数字，只证明设备上的头算得对，尚未证明投机更快。
AI 根据报道生成 · 11 天前更新
事件进展
2 个进展
- 11月4日 17:21 · 1 篇报道分享MTP草稿头迁移至CUDA的工程实践掘金：Kestrel_VLLM 第31篇：把 MTP 草稿头搬上 CUDA，用独立槽位加共用 attention 核心
- 11月3日 10:35 · 1 篇报道介绍Qwen3.5-27B MTP头适配与验证方法掘金：Kestrel_VLLM 第 30 篇：Qwen3.5-27B 的 MTP 投机草稿头适配与自造基准验证
报道时间线
沿着报道，了解事件的不同侧面。
- 掘金Kestrel_VLLM 第31篇：把 MTP 草稿头搬上 CUDA，用独立槽位加共用 attention 核心
Kestrel_VLLM 系列第 31 篇记录了把 MTP 草稿头从 CPU 搬到 CUDA 的做法，在 Qwen3.5-27B（q4）与 RTX 5090 上实测池增量 +8 entry / +227.8 MB（401→409），设备级逐级对拍 T=5、11 阶段 × 5 token 共 55 行全 OK，maxrel 6.2e-7~1.5e-5。
- 掘金精选Kestrel_VLLM 第 30 篇：Qwen3.5-27B 的 MTP 投机草稿头适配与自造基准验证
作者在 x86-64 + CUDA 后端上为 Qwen3.5-27B 的 MTP 投机草稿头完成 CPU 侧适配，梳理出 15 个张量（另 2 个与主模型共享）和 stem 加 1 层 full attention 加 1 层 FFN 的结构，模块级对拍 11 阶段 × 5 token 全部 PASS，max_rel 在 1.5e-6 到 3.4e-6。