TLDR AI· TLDR·· 26 天前AI 评分42
DeepSeek DeepInfer 大规模推理部署、PyTorch 原生支持 TPU、Ramp 自研智能体框架 Laminar
DeepSeek DeepInfer 🐋, PyTorch on TPUs ⚡, Ramp’s agent framework 👨💻
AI 导读
DeepSeek 介绍 DeepSeek V4.1 Flash 的大规模推理部署方案 DeepInfer，结合分布式推理、缓存、负载均衡与投机解码，单集群每日处理 155 万亿 token，每 GPU-hour 收入 38 美元。
来源：TLDR AI · tldr.tech