跳到正文
掘金· 爱新觉罗胜利·· 22 天前AI 评分58

SmolVLA-MoE 论文解读:只改动作专家 FFN,500M 激活逼近 3.3B 的 π0

500M 激活逼近 3.3B:VLA 的容量到底该加在哪一层

AI 导读

这篇论文解读拆解了 SmolVLA-MoE 的做法,只把动作专家里的 FFN 换成 4 个路由专家加 1 个共享专家、每 token 只激活 1 个,注意力层保持共享,存储参数从约 500M 涨到约 800M,推理激活量仍是约 500M。

来源:掘金 · juejin.cn