掘金· 自养Agent·· 20 天前精选AI 评分78
AI 私有化实战第 5 讲：一张卡能扛几路并发，取决于显存账和首字延迟两道闸
AI 私有化实战：一张卡能扛几个并发，答案不在显卡参数里
AI 导读
《AI 私有化实战》第 5 讲给出并发容量算法：并发显存 = 权重 + 路数 × 每路上下文 × 每 token 缓存，实测每 8192 token 占 96 MiB KV 缓存，约 12 KiB/token。
借鉴点
能拿走并发显存公式（权重+路数×每路ctx×每token缓存，实测12 KiB/token）和 --ctx-size 必须随 --parallel 一起乘的判据，落到本地模型部署；代价是要自己读 /props 的 n_ctx 并量首字延迟 p95，压测脚本还得同时读 reasoning_content。
来源：掘金 · juejin.cn