跳到正文
掘金· 用户36005557900·· 11 天前AI 评分60

Kestrel_VLLM 第31篇:把 MTP 草稿头搬上 CUDA,用独立槽位加共用 attention 核心

Kestrel_VLLM - 31 · MTP 头上 GPU:一个独立槽位,与一条抽出来共用的注意力

AI 导读

Kestrel_VLLM 系列第 31 篇记录了把 MTP 草稿头从 CPU 搬到 CUDA 的做法,在 Qwen3.5-27B(q4)与 RTX 5090 上实测池增量 +8 entry / +227.8 MB(401→409),设备级逐级对拍 T=5、11 阶段 × 5 token 共 55 行全 OK,maxrel 6.2e-7~1.5e-5。

来源:掘金 · juejin.cn