掘金· 方方洛·· 19 天前精选AI 评分75
Ray Serve 与 LLM 服务教程：从核心对象、扩缩容到 Ray Serve LLM 部署
ray教程-15-RayServe与LLM服务
AI 导读
这篇 Ray 教程把 Ray Serve 从 HTTP 框架讲到 LLM 推理编排层，梳理了 deployment、bind、serve.run、DeploymentHandle 四个核心对象与 Controller 加 HTTP/gRPC Proxy 加 replica 的架构。
借鉴点
能拿走 Serve 的四个核心对象、@serve.batch 攒批参数与 max_ongoing_requests 必须大于 target_ongoing_requests 的配置法则，落到本地模型部署这条线；代价是 ray.serve.llm 全系列仍是 beta，需锁版本并把导入面收窄到一个模块。
来源：掘金 · juejin.cn