Kestrel_VLLM 第 15 篇:decode 四连击把 30B-A3B MoE 从 19ms/tok 降到 8.4ms/tok
Kestrel_VLLM 系列第 15 篇记录在 RTX 5090 上跑 Qwen3-30B-A3B q4 的 decode 优化,64 token 吞吐从 52.7 tok/s 提升到 118.8 tok/s,即 19.0 ms/tok 降到 8.4 ms/tok,总加速 2.25×。
能用 VLLM_CUDA_STUB_{ATTN,ROUTER,GU,LMHEAD} 逐段跳过定位真瓶颈,再套转置归约、router 并行化、M=1 线程映射、CUDA Graph 四个小改动;代价是 attention 与 router 属近似安全,换 prompt 要重新对拍 greedy。