Hacker News · AI 讨论· CrankyBear·· 25 天前同事件AI 评分71
llm-d 1.0 发布，把 Kubernetes 原生 LLM 推理推向生产
LLM-D 1.0 Takes Open-Source Kubernetes AI Inference into Production
AI 导读
CNCF 开源项目 llm-d 在 PyTorch Conference 上发布 1.0 版本，为 Kubernetes 原生分布式 LLM 推理栈加入多租户 QoS 流控、高可用路由、稳定的 v1 配置 API 和面向智能体的会话感知服务。
同一件事，精选收录的是《Google 联合 Red Hat、IBM 发布 llm-d 1.0 分布式推理开源栈》
来源：Hacker News · AI 讨论 · techstrong.ai