掘金· 绿意新酿·· 13 天前精选AI 评分75
vLLM 推理服务性能剖析方法论:吞吐量、延迟与显存利用率的权衡
框架长线学习-11-性能剖析方法论:吞吐量、延迟、显存利用率权衡
AI 导读
这篇教程讲怎么量化衡量和优化 vLLM 推理服务,把吞吐量、延迟和显存利用率之间的权衡拆成一套可执行的方法。延迟被拆成 TTFT 和 TPOT,大 batch 换吞吐但伤延迟,显存留够余量才能避免 OOM。
借鉴点
能拿走一套先定位瓶颈再调参的流程和真实 vLLM 指标名,落到本地模型部署线;代价是原文工具链偏 NVIDIA,昇腾要换成 npu-smi、msprof 和 AISBench。
来源:掘金 · juejin.cn