掘金· 胡写代码·· 23 天前精选AI 评分71
显存被占满时用 CPU 微调模型：实测耗时与四个坑
显存被占满时怎么微调模型？CPU 训练的实测耗时与四个坑
AI 导读
作者在 48GB 显存被推理服务占满的情况下，用 CPU 对 2B 以下模型做 LoRA 微调，同任务同数据耗时约为 GPU 的 11 倍，精度差在小数点后三位。
借鉴点
能拿走 CPU 跑 LoRA 的四个具体坑和修法，包括 device 与精度成对切换、qwen3_nothink 模板、8bit 量化、LFS 指针检查，落到本地模型部署这条线，代价是 2B 以下窄任务要等 11 倍时间。
来源：掘金 · juejin.cn