NVIDIA 三项优化提升 DGX Spark 上 MoE 推理吞吐
热点事件历史事件
NVIDIA 三项优化提升 DGX Spark 上 MoE 推理吞吐
1 篇报道1 个报道来源12 天前更新
先了解这件事
AI 综述
NVIDIA 发布技术博客，介绍在单台 DGX Spark 上加速 Ling-3.0-flash（124B 参数、5.1B 激活的 MoE 模型）推理的三项叠加优化。NVIDIA 称，在全部 1,319 道 GSM8K 题上，解码吞吐从 37.81 提升到 53.89 tokens/s，涨幅 42.5%，平均延迟下降 24.5%，准确率为 96.89%，基线为 96.82%。 其中 FP8 LM head 需设置 SGLANG_ENABLE_FP8_LM_HEAD=1 开启，且不能与基线的 --enable-fp32-lm-head 选项同时使用；FP8 LM head 与 MTP 同时开启时，draft 须共享完整 LM-head 模块，NVIDIA 指向 Ling cookbook notebook 说明如何同时启用两者。
AI 根据报道生成 · 12 天前更新
最新进展11月4日 04:28
NVIDIA 在 DGX Spark 上用三项优化把 Ling-3.0-flash 的 MoE 推理吞吐提升 42.5%报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- MarkTechPost精选NVIDIA 在 DGX Spark 上用三项优化把 Ling-3.0-flash 的 MoE 推理吞吐提升 42.5%
NVIDIA 技术博客给出在单台 DGX Spark 上加速 Ling-3.0-flash 这个 124B 参数、5.1B 激活 MoE 模型推理的三项叠加优化，在全部 1,319 道 GSM8K 题上解码吞吐从 37.81 提升到 53.89 tokens/s，涨幅 42.5%，平均延迟下降 24.5%，准确率 96.89% 对 96.82%。