跳到正文
掘金· leo在掘金·· 12 天前AI 评分66

用 Python 复现 colibri 的 MoE 专家分层调度,验证 32GB 内存跑 744B 模型

744B模型,32GB内存跑起来

AI 导读

作者以纯 C 项目 colibri 为样本,拆解它把 VRAM、RAM、NVMe 做成统一推理层级、每个 token 只加载约 5% 激活专家的五步调度流程,并给出可直接运行的 Python 模拟脚本。

来源:掘金 · juejin.cn