MarkTechPost· Asif Razzaq·· 12 天前精选AI 评分71
NVIDIA 在 DGX Spark 上用三项优化把 Ling-3.0-flash 的 MoE 推理吞吐提升 42.5%
NVIDIA Shows 3 Ways to Speed Up MoE Inference on DGX Spark, Lifting Ling-3.0-flash Throughput 42.5%
AI 导读
NVIDIA 技术博客给出在单台 DGX Spark 上加速 Ling-3.0-flash 这个 124B 参数、5.1B 激活 MoE 模型推理的三项叠加优化，在全部 1,319 道 GSM8K 题上解码吞吐从 37.81 提升到 53.89 tokens/s，涨幅 42.5%，平均延迟下降 24.5%，准确率 96.89% 对 96.82%。
借鉴点
可照搬三项叠加做法，换 Humming MXFP4 kernel、开 SGLANG_ENABLE_FP8_LM_HEAD=1、用模型自带 NEXTN 做 MTP 投机解码；坑是 FP8 LM head 与 MTP 同开必须共享完整 LM head 模块，否则静默回退、接受长度掉到 1.00。
来源：MarkTechPost · marktechpost.com