Edge0 开源 MoE 流式推理框架，35B 模型在 M4 Pro 上峰值内存 2.9 GiB

Edge0 是一个面向 MoE 模型的流式推理框架，把专家权重存在 SSD 上按需 mmap 读取，35B 模型峰值内存只要 2.9 GiB，在 M4 Pro 24GB 上解码速度 14.9 到 17.7 tok/s。