同一模型本地与云 API 效果差异的四个来源：量化精度、聊天模板、采样参数与上下文截断

同一开源模型本地跑和云 API 调用效果差距大，主要来自量化精度、聊天模板、采样参数和上下文截断四层没对齐，而非模型本身不同。文中给出数据：Llama 3 8B 量化到 FP8 后 MMLU 保留 99.2% 基线准确率，INT4 下 GSM8K 掉 9%–18% 而 MMLU 只掉 1%–3%。