MarkTechPost· Asif Razzaq·· 25 天前同事件AI 评分78
Google Cloud 发布 llm-d 1.0 稳定版，为 TPU 和 GPU 集群带来缓存感知路由
Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets
AI 导读
Google 团队在 PyTorch Conference North America 上发布分布式推理栈 llm-d 1.0，这是该项目的首个稳定版本，把 vLLM 或 SGLang 模型服务器整合成一个 Kubernetes 原生调度池。
同一件事，精选收录的是《Google 联合 Red Hat、IBM 发布 llm-d 1.0 分布式推理开源栈》
来源：MarkTechPost · marktechpost.com