跳到正文
雷峰网·· 17 天前同事件AI 评分71

DeepSeek 开源推理引擎 DeepInfer,披露单集群日处理约 155 万亿 Token

DeepSeek 又一开源重器!深挖 DeepInfer 究竟藏着多少技术狠活?

AI 导读

DeepSeek 在 GitHub 开源了 DeepSeek-V4.1-Flash 背后的推理引擎 DeepInfer,包含 MoE 专家并行、异步 Batch 调度、定制 Kernel 和推测解码等技术,并披露单集群每天需处理约 155 万亿个 Token。

同一件事,精选收录的是《DeepSeek 宣布全面开源内部推理框架 DeepInfer》

来源:雷峰网 · leiphone.com