掘金· 得物技术·· 19 天前精选AI 评分80
得物技术分享昇腾 910C 大模型推理优化下篇：改 vllm-ascend 源码与算子，提速 30%
国产算力·昇腾 910C 大模型推理优化（下）：源码修改与算子优化，提速30%｜得物技术
AI 导读
得物技术发布《昇腾 910C 大模型推理优化实践》下篇，在 vllm-ascend 源码、算子层和 MTP 投机解码三处做优化，Qwen3.5-35B-A3B 在 c=1 下 TPOT 从 8.2ms 压到 5.0ms。
借鉴点
能拿走一整套昇腾 910C 上 vllm-ascend 的改法，包括多流重叠 shared expert、block_table CPU 快路径、词表并行 argmax 和 910C 融合算子，落到本地模型部署这条线；代价是要改 vllm-ascend 源码并重编 AscendC 算子，且收益集中在 c≤8 低并发。
来源：掘金 · juejin.cn