MarkTechPost· Michal Sutter·· 10 天前AI 评分60
百度发布 ERNIE 5.5 Flash Base：280B 参数 MoE 基础模型，每 token 激活 14B
Baidu Releases ERNIE 5.5 Flash Base: A 280B MoE Base Model With 14B Active Parameters
AI 导读
百度发布 ERNIE 5.5 Flash Base，这是其新稀疏 MoE 语言模型的原始预训练 checkpoint，总参数 280B、每 token 激活 14B，权重停在预训练结束、未做中期或后训练。
来源：MarkTechPost · marktechpost.com