Meta 开源 Muse Spark Open：816B 参数多模态 MoE 模型
Meta 开源 Muse Spark Open，这是一个约 816B 总参数、每 token 激活约 42B 的多模态 MoE 模型，支持文本、图像、音频和视频输入，上下文窗口最高 1M tokens。
借鉴点
能拿走 BF16/NVFP4 两种 checkpoint 的部署配方、llama.cpp 2-bit 量化在 512GB Mac 上跑 18 tokens/s 的实测，以及只训注意力层 LoRA、冻结专家的 TRL 微调脚本；落到本地模型部署和软件工厂两条线，代价是 816B 全量专家常驻内存，BF16 约 1.5TB。