FreeToken 引擎解析：如何在游戏本上运行 290B 参数 MoE 模型

FreeToken 是一个边缘原生 MoE 推理引擎，声称能把 290B 参数级开放权重模型放到游戏 PC 上以交互式速度本地运行。它靠带宽自适应的 CPU-GPU 协同执行、全层双缓冲预填充流式传输和全局 LRU 专家缓存来应对显存带宽瓶颈，并用语义锚点检查点只重算上下文编辑后的分支。