百度开源文心5.5 Flash Base，2800亿参数 MoE 基座模型

百度于11月5日正式开源基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base），采用 MoE 架构，总参数量2800亿，每个 Token 激活140亿参数，预训练使用33.5万亿 Token，预训练上下文最高128K，微调与推理阶段支持最长100万 Token。