跳到正文
掘金· 用户36005557900·· 20 天前AI 评分37

Kestrel_VLLM 实测判定:RTX 5090 上 KV 分页与 GPU 侧 L3 驻留为何「不做」

Kestrel_VLLM - 21 · 收益区间实测界定:KV 分页与 L3 驻留为何被判「不做」

AI 导读

Kestrel_VLLM 在 RTX 5090(32.6 GB)上实测 Qwen3-30B-A3B q4local、max_seq=8192,判定 P2 KV 分页与 GPU 侧 L3 驻留均不做。

来源:掘金 · juejin.cn