8GB显存跑7B模型vLLM白皮书发布
热点事件历史事件
8GB显存跑7B模型vLLM白皮书发布
1 篇报道1 个报道来源10 天前更新
先了解这件事
AI 综述
作者Hayabusa发布vLLM实战白皮书v0.3，称在RTX 4060 Laptop 8GB显存上成功运行Qwen2.5-7B的AWQ与GPTQ-Int4量化版，并开源复现脚本与补丁。 其给出的启动参数为：gpu-memory-utilization从0.85起调（Windows下0.9可能被拒），max-model-len设8192为余量上限，且必须开启enforce-eager——8G卡关闭CUDA Graph后KV cache余量为负、服务起不来。 作者注明数据仅覆盖RTX 4060 Laptop 8GB与Qwen2.5-7B（AWQ/GPTQ），换卡或换模型需重测。
AI 根据报道生成 · 10 天前更新
最新进展11月5日 12:15
8GB 显存 RTX 4060 跑 Qwen2.5-7B：vLLM 实测参数与三个 issue 修复报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- 掘金精选8GB 显存 RTX 4060 跑 Qwen2.5-7B：vLLM 实测参数与三个 issue 修复
作者在 RTX 4060 Laptop 8GB 上用 vLLM 0.33.0 跑 Qwen2.5-7B 的 AWQ 与 GPTQ-Int4 量化版，给出可复现的启动参数组合：gpu-memory-utilization 0.85、max-model-len 8192、必须开启 enforce-eager。