掘金· miofly·· 12 天前AI 评分58
Meta 开源 816B 参数 MoE 模型 Muse Spark Open，在 NVIDIA GB300 上实现每 GPU 50K tokens 每秒
Meta 816B 参数 Muse Spark Open 在 NVIDIA GB300 上实现每 GPU 50K tokens 每秒
AI 导读
Meta 发布 816B 参数的 MoE 推理模型 Muse Spark Open，每个 token 只激活 42B 参数，采用 top-8 路由从 256 个专家中选 8 个计算，配备 1M token 上下文窗口和 1.8B 参数感知编码器，原生支持文本、图像、视频帧和音频交错输入。
来源：掘金 · juejin.cn