Latent Space· Latent Space·· 25 天前精选AI 评分76
DeepSeek 开源生产推理栈 DeepInfer，单集群日均 155 万亿 token、每卡时收入 38 美元
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源了支撑 V4.1 Flash 的生产推理引擎 DeepInfer，并公布单集群日均 155 万亿 token、96% 输入缓存命中、首 token 平均 400ms、生成 230 token/s（编码场景 300 token/s）等生产数据。
借鉴点
能拿走的是分阶段部署形状和缓存分层做法，prefill 用八卡机、decode 用 64–128 卡超节点，KV 前缀放 3FS 共享存储让路由不再绑缓存亲和；代价是 KV 管理和负载均衡未开源，得自己补。
来源：Latent Space · latent.space