掘金· Hayabusa·· 10 天前精选AI 评分80
8GB 显存 RTX 4060 跑 Qwen2.5-7B：vLLM 实测参数与三个 issue 修复
8GB 显存跑 7B 大模型：vLLM 消费级显卡极限实战白皮书
AI 导读
作者在 RTX 4060 Laptop 8GB 上用 vLLM 0.33.0 跑 Qwen2.5-7B 的 AWQ 与 GPTQ-Int4 量化版，给出可复现的启动参数组合：gpu-memory-utilization 0.85、max-model-len 8192、必须开启 enforce-eager。
借鉴点
能直接抄走 8GB 卡跑 7B 的启动参数组合（0.85 利用率、8192 上下文、必开 enforce-eager）和三个 vLLM issue 的本地补丁，落到本地模型部署线；代价是数据只来自 RTX 4060 Laptop 单卡，换卡换模型要重测。
来源：掘金 · juejin.cn