掘金· 用户36005557900·· 25 天前精选AI 评分78
Kestrel_VLLM 第 15 篇：decode 四连击把 30B-A3B MoE 从 19ms/tok 降到 8.4ms/tok
Kestrel_VLLM - 15 · decode 优化四连击：19ms → 8ms
AI 导读
Kestrel_VLLM 系列第 15 篇记录在 RTX 5090 上跑 Qwen3-30B-A3B q4 的 decode 优化，64 token 吞吐从 52.7 tok/s 提升到 118.8 tok/s，即 19.0 ms/tok 降到 8.4 ms/tok，总加速 2.25×。
借鉴点
能用 VLLM_CUDA_STUB_{ATTN,ROUTER,GU,LMHEAD} 逐段跳过定位真瓶颈，再套转置归约、router 并行化、M=1 线程映射、CUDA Graph 四个小改动；代价是 attention 与 router 属近似安全，换 prompt 要重新对拍 greedy。
来源：掘金 · juejin.cn