跳到正文
36氪 · 快讯·· 26 天前精选AI 评分75

DeepSeek 宣布全面开源内部推理框架 DeepInfer

DeepSeek:进一步将内部推理框架DeepInfer全面开源

AI 导读

DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,此前已开源一系列大模型、TileLang 编译工具及推理算子库。基于 DeepInfer,DeepSeek 已实现 DeepSeek V4.1 Flash 高吞吐、低延迟的大规模推理服务,未来新模型的推理代码及后续优化也将在此持续更新。

借鉴点

DeepSeek 把内部推理框架 DeepInfer 开源,可替换自建推理服务栈;但材料只有一句摘要,没有部署方式、硬件要求和性能数字,落地前得自己去仓库摸。

来源:36氪 · 快讯 · 36kr.com