跳到正文
掘金· leo在掘金·· 23 天前AI 评分60

DeepSeek 开源推理框架 DeepInfer,155 万亿 Token/天省在哪

一天155万亿Token,DeepInfer省在哪

AI 导读

DeepSeek 于 10 月 20 日在 GitHub 开源内部推理框架 DeepInfer,官方称单一集群服务吞吐达 155 万亿 Token/天、每卡每小时收入 38 美元(波谷价),基于 DeepSeek-V4.1-Flash-1017 运行,提供 CUDA 13 与 CANN 9.2 两套构建入口。

来源:掘金 · juejin.cn