跳到正文
掘金· lucas_AI·· 25 天前同事件AI 评分71

DeepSeek 以 Apache 2.0 开源生产级推理框架 DeepInfer

单集群一天吐 155 万亿 token 的引擎开源了:DeepSeek 放出生产级推理框架 DeepInfer

AI 导读

DeepSeek 于 10 月 20 日把支撑自家线上服务的推理引擎 DeepInfer 以 Apache 2.0 开源,基于 vLLM 深度改造,首发只支持 DeepSeek-V4.1-Flash,并同步适配英伟达 SM100 与华为昇腾 950。

同一件事,精选收录的是《DeepSeek 宣布全面开源内部推理框架 DeepInfer》

来源:掘金 · juejin.cn