跳到正文
Hacker News · 首页· pretext·· 10 天前精选AI 评分71

百度开源 ERNIE-5.5-Flash-Base 基座模型,280B 总参数、每 token 激活 14B

Baidu released ERNIE 5.5 Flash Base

AI 导读

百度发布 ERNIE-5.5-Flash-Base,一个 280B 总参数、每 token 激活 14B 的稀疏 MoE 基座模型,在 33.5T token 上从零预训练,训练上下文逐步扩到 128K,微调与推理支持 1M token 上下文。

借鉴点

可拿走稀疏 MoE 加混合 MLA/HCA 注意力、Multi-Router 路由和 ECHO 复用末层做投机解码草稿这几处设计,落到本地模型部署与训练线;代价是要自己扛 280B 权重和 1M 上下文显存。

来源:Hacker News · 首页 · ernie.baidu.com