跳到正文
  1. Apple Machine Learning58

    Apple 介绍用 MLX 在 Mac Studio 上本地与分布式推理大模型

    Apple 发布新版 MLX,演示在 Mac Studio 上本地运行近万亿参数的 Muse Spark Open,四台 M5 Ultra 集群解码速度超过 36 tokens/s。

    借鉴点

    能拿走 mlx.launch 配 jaccl 后端跑流水线/张量并行的完整命令和 OpenCode 接本地 server 的配置,落到本地模型部署这条线,前提是 macOS 26.2 加 Thunderbolt 5 双线互联,816B 模型仍需四台机器才跑得动。

  2. Together AI Blog75

    Meta Muse Spark Open 上线 Together AI,支持 1M token 上下文与长程智能体编码

    Together AI 作为 Day 0 发布伙伴上线 Meta 的开放权重模型 Muse Spark Open,可通过 Together API 以 meta-models/Muse-Spark-Open-816B-A42B 调用。

    借鉴点

    能直接照抄 Together API 的调用示例和 meta-models/Muse-Spark-Open-816B-A42B 模型名接入,落到软件工厂的长任务编码线;代价是 1M 上下文按 $1.25/1M 输入、$4.25/1M 输出计费,缓存输入才降到 $0.15。

  3. Hugging Face Blog64

    Meta 开源 Muse Spark Open:816B 参数多模态 MoE 模型

    Meta 开源 Muse Spark Open,这是一个约 816B 总参数、每 token 激活约 42B 的多模态 MoE 模型,支持文本、图像、音频和视频输入,上下文窗口最高 1M tokens。

    借鉴点

    能拿走 BF16/NVFP4 两种 checkpoint 的部署配方、llama.cpp 2-bit 量化在 512GB Mac 上跑 18 tokens/s 的实测,以及只训注意力层 LoRA、冻结专家的 TRL 微调脚本;落到本地模型部署和软件工厂两条线,代价是 816B 全量专家常驻内存,BF16 约 1.5TB。

已经到底了