得物技术总结昇腾 910C 大模型推理优化:镜像升级与参数调优使 TPOT 下降 45.1%
得物技术总结在华为昇腾 910C 上优化 Qwen3.5-35B-A3B 在线推理的实践,仅靠镜像版本升级与参数调优,c=1 的 TPOT 从基线 14.22ms 降至 7.8ms,下降 45.1%。
能拿走一整套昇腾 910C 上 vllm-ascend 的调参清单,含 HCCL_OP_EXPANSION_MODE=AIV、静态 kernel、PYTORCH_NPU_ALLOC_CONF 与 jemalloc 的具体值,可直接换掉现有在线推理部署配置;代价是多数收益绑定 0.23.0 版本与 Qwen3.5-35B-A3B 结构,且需逐模型实测,文中还列了十余项负向尝试。