AWS Machine Learning Blog· Sunita Nadampalli·· 27 天前精选AI 评分65
AWS 详解 vLLM 推模式 KV 传输：TTFT 最高改善 3 倍
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
AWS 在 vLLM 中贡献了推模式（push-based）NIXL KV 连接器，把 decode 侧的块注册和传输提交从首 token 关键路径移到 prefill 侧后台线程，从而降低 TTFT 和 TPOT。
借鉴点
在 vLLM 的 P-D 分离部署里把 NixlConnector 换成 NixlPushConnector，让 decode 侧注册与传输提交挪到 prefill 后台线程，代价是 decode 实例需提前选定、失去按负载后置路由的灵活性。
来源：AWS Machine Learning Blog · aws.amazon.com