掘金· 大模型真好玩·· 21 天前AI 评分62
LLaMA-Factory 预训练实战：从语料构建到 Qwen3-32B LoRA 增量训练
大模型训练全流程实战指南实战篇（十七）— LLamaFatory预训练实战：从语料到模型
AI 导读
作者用 LLaMA-Factory 对 Qwen3-32B 做 LoRA 增量预训练，按通用语料 60%～70%、领域语料 30%～40% 混合出约 926M tokens 数据集，训练约 2 天后选定 checkpoint-6250 作为 SFT 起点。
来源：掘金 · juejin.cn