跳到正文
The Decoder· Matthias Bastian·· 10 天前AI 评分62

百度开源 280B 参数基座模型 ERNIE 5.5 Flash Base

Baidu releases ERNIE 5.5 Flash Base with 280 billion parameters as an open-source foundation model

AI 导读

百度发布开源基座模型 ERNIE-5.5-Flash-Base,刻意不做微调和后训练,把后续方向交给开发者,后训练版本后续再发。该模型采用 MoE 架构,总参数 280B、每次输入激活 14B,预训练用 33.5 万亿 token,训练上下文最长 128000 token,设计上支持微调和推理时扩展到 100 万 token 上下文。

来源:The Decoder · the-decoder.com