百度开源基座模型 ERNIE 5.5 Flash Base，2800 亿参数 MoE 架构

百度于 11 月 5 日正式开源基座模型文心 5.5 Flash Base（ERNIE 5.5 Flash Base）。该模型采用 MoE 架构，总参数量 2800 亿，每个 Token 激活 140 亿参数，使用 33.5 万亿个 Token 完成预训练，预训练上下文长度最高 128K，微调与推理阶段支持最长 100 万 Token 上下文。