百度开源280B参数ERNIE 5.5 Flash Base
先了解这件事
百度于11月5日开源基座模型文心5.5 Flash Base（ERNIE-5.5-Flash-Base），采用稀疏MoE架构，总参数2800亿，每个Token激活140亿参数，在33.5万亿Token上从零完成预训练，训练上下文最长128K，微调与推理阶段支持最长100万Token。 此次开放的是预训练终点权重，未经中训练与后训练，百度称其可作为领域适配、指令微调和强化学习研究的共同起点。权重以FP8和BF16两种格式在Hugging Face发布，适用ERNIE 5.5 Flash Base Model License Agreement v1.0。据MarkTechPost报道，该许可对年收入低于5000万美元者免费，但排除欧盟、英国和韩国；作为基座模型，它通过completions接口而非对话接口运行。 百度表示，经过后训练的ERNIE 5.5 Flash将随后推出。
AI 根据报道生成 · 10 天前更新
报道时间线
沿着报道，了解事件的不同侧面。
- MarkTechPost百度发布 ERNIE 5.5 Flash Base：280B 参数 MoE 基础模型，每 token 激活 14B
百度发布 ERNIE 5.5 Flash Base，这是其新稀疏 MoE 语言模型的原始预训练 checkpoint，总参数 280B、每 token 激活 14B，权重停在预训练结束、未做中期或后训练。
- The Decoder百度开源 280B 参数基座模型 ERNIE 5.5 Flash Base
百度发布开源基座模型 ERNIE-5.5-Flash-Base，刻意不做微调和后训练，把后续方向交给开发者，后训练版本后续再发。该模型采用 MoE 架构，总参数 280B、每次输入激活 14B，预训练用 33.5 万亿 token，训练上下文最长 128000 token，设计上支持微调和推理时扩展到 100 万 token 上下文。
- 开源中国百度开源基座模型 ERNIE 5.5 Flash Base，2800 亿参数 MoE 架构
百度于 11 月 5 日正式开源基座模型文心 5.5 Flash Base（ERNIE 5.5 Flash Base）。该模型采用 MoE 架构，总参数量 2800 亿，每个 Token 激活 140 亿参数，使用 33.5 万亿个 Token 完成预训练，预训练上下文长度最高 128K，微调与推理阶段支持最长 100 万 Token 上下文。
- Hacker News · 首页精选百度开源 ERNIE-5.5-Flash-Base 基座模型，280B 总参数、每 token 激活 14B
百度发布 ERNIE-5.5-Flash-Base，一个 280B 总参数、每 token 激活 14B 的稀疏 MoE 基座模型，在 33.5T token 上从零预训练，训练上下文逐步扩到 128K，微调与推理支持 1M token 上下文。
- IT之家百度文心开源 ERNIE 5.5 Flash Base 基座模型，总参数 280B、每 token 激活 14B
百度文心发布并开源 ERNIE-5.5-Flash-Base，这是一个总参数 280B、每 token 激活 14B 的稀疏 MoE 语言模型，在 33.5T tokens 上从零完成预训练，最长训练上下文 128K，微调与推理支持 1M tokens 上下文。
- 量子位百度开源文心5.5 Flash Base，2800亿参数MoE基座模型
百度于11月5日正式开源基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base），采用MoE架构，总参数量2800亿，每个Token激活140亿参数，预训练使用33.5万亿Token，预训练上下文长度最高128K，微调与推理阶段支持最长100万Token上下文。
- 雷峰网百度开源文心5.5 Flash Base，2800亿参数 MoE 基座模型
百度于11月5日正式开源基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base），采用 MoE 架构，总参数量2800亿，每个 Token 激活140亿参数，预训练使用33.5万亿 Token，预训练上下文最高128K，微调与推理阶段支持最长100万 Token。