Apple 介绍用 MLX 在 Mac Studio 上本地与分布式推理大模型
Apple 发布新版 MLX,演示在 Mac Studio 上本地运行近万亿参数的 Muse Spark Open,四台 M5 Ultra 集群解码速度超过 36 tokens/s。
借鉴点
能拿走 mlx.launch 配 jaccl 后端跑流水线/张量并行的完整命令和 OpenCode 接本地 server 的配置,落到本地模型部署这条线,前提是 macOS 26.2 加 Thunderbolt 5 双线互联,816B 模型仍需四台机器才跑得动。