掘金· lucas_AI·· 25 天前同事件AI 评分71
DeepSeek 以 Apache 2.0 开源生产级推理框架 DeepInfer
单集群一天吐 155 万亿 token 的引擎开源了:DeepSeek 放出生产级推理框架 DeepInfer
AI 导读
DeepSeek 于 10 月 20 日把支撑自家线上服务的推理引擎 DeepInfer 以 Apache 2.0 开源,基于 vLLM 深度改造,首发只支持 DeepSeek-V4.1-Flash,并同步适配英伟达 SM100 与华为昇腾 950。
同一件事,精选收录的是《DeepSeek 宣布全面开源内部推理框架 DeepInfer》
来源:掘金 · juejin.cn