掘金· 用户36005557900·· 20 天前AI 评分37
Kestrel_VLLM 实测判定:RTX 5090 上 KV 分页与 GPU 侧 L3 驻留为何「不做」
Kestrel_VLLM - 21 · 收益区间实测界定:KV 分页与 L3 驻留为何被判「不做」
AI 导读
Kestrel_VLLM 在 RTX 5090(32.6 GB)上实测 Qwen3-30B-A3B q4local、max_seq=8192,判定 P2 KV 分页与 GPU 侧 L3 驻留均不做。
来源:掘金 · juejin.cn