Amazon Science·· 2026-10-13精选AI 评分82
AWS 提出 Priming 方法，用预训练 Transformer 权重改造混合架构，预训练成本降低 99% 以上
Can we change an AI model’s architecture without retraining it from scratch?
AI 导读
AWS 团队提出 Priming 方法，把预训练 Transformer 的权重作为混合架构的初始化，将混合架构的预训练成本降低 99% 以上，整个流程消耗不到源模型预训练 token 预算的 0.5%。
借鉴点
用预训练 Transformer 权重初始化混合架构，把预训练成本压到 0.5% 以下，可低成本对比 GKA、GDN、Mamba-2 与 SWA 的层替换方案；代价是仍需短蒸馏和端到端微调，且层选择依赖 SWA 替换代理实验。
来源：Amazon Science · amazon.science