跳到正文
掘金· moshuying·· 24 天前AI 评分65

逐行读 DeepSeek 开源的推理框架 DeepInfer:调度与投机解码可抄,架构图有三块不在仓库里

DeepSeek开源生产级推理框架DeepInfer:单集群一天处理155万亿token,这意味着什么?

AI 导读

作者逐行读了 DeepSeek 开源的推理框架 DeepInfer 源码,指出它只支持 DeepSeek-V4.1-Flash-1017 一个模型,C++ 调度器、分页 KV 块管理、DSpark 投机解码和 EPLB 专家负载均衡确实写得好,但架构图里的请求路由、三个负载均衡器和 3FS 跨实例 KV 存储在仓库里只有空实现。

来源:掘金 · juejin.cn