掘金· 谟松·· 15 天前精选AI 评分78
RTX 5070 Ti 部署 Qwen2.5-VL-7B-AWQ 做工业质检的踩坑记录
RTX 5070 Ti 跑 Qwen2.5-VL-7B-AWQ：一个真实工业质检项目的部署踩坑记录
AI 导读
作者在 RTX 5070 Ti 16GB 上用 vLLM 0.30.0 部署 Qwen2.5-VL-7B-Instruct-AWQ（6.5GB），跑通二维码缺陷质检的码制识别与可见性判定批量推理。
借鉴点
能拿走 16GB 单卡跑 7B 多模态的整套 vLLM 参数和六个坑，直接落到本地模型部署与质检流水线，代价是版本组合敏感、需自行验证 flashinfer 开关。
来源：掘金 · juejin.cn