Apple 研究：数据受限场景下双语预训练混合优于超参数调优

Apple 研究团队在 150M 至 1.43B 参数的四档模型、约 1000 次预训练实验中，以阿拉伯语为目标语言、英语为辅助语言，对比数据混合与超参数调优两种手段。混合在验证损失和下游任务准确率上的提升均大于调优，且差距随模型规模扩大；其效果相当于 2–3 倍目标语言独有数据（验证损失）和 2–13 倍（下游准确率）。研究建议优先调整混合比例，并通过 μP 从小模型迁移超参数。