同一模型本地与云 API 效果差异的三大原因：量化精度、聊天模板与采样参数

同一模型本地跑和云 API 调用效果差别大，主要来自量化精度、聊天模板和采样参数三层没对齐，而非模型本身不同。文中给出可复算数据，Llama 3 8B 量化到 FP8 后 MMLU 保留 99.2% 基线，INT4 下 GSM8K 准确率掉 9%–18% 而 MMLU 只掉 1%–3%。