跳到正文
掘金· 用户36005557900·· 12 天前AI 评分62

Kestrel 系列第 29 篇:把 CUDA Graph 接到 64 层 hybrid 前向路径,实测提速 1.1335×

Kestrel_VLLM - 29 · CUDA Graph 接到 hybrid 路径

AI 导读

作者在 Qwen3.5-27B q4 的 64 层 hybrid 路径上落地 CUDA Graph,同会话交错 A/B 六轮实测 1.1335×、省 1.878 ms/token,两档 h64/hfinal/logits 经元素级 memcmp 逐字节相同。

来源:掘金 · juejin.cn