IT之家·· 14 天前AI 评分60
商汤开源 SenseNova Loop-9B-Preview,称 9B 参数媲美 27B 模型
商汤开源 SenseNova Loop-9B-Preview,宣称媲美 27B 参数大小模型
AI 导读
商汤科技 10 月 30 日宣布开源日日新 SenseNova Loop-9B-Preview,官方称该模型在仅 9B 参数规模下可媲美 27B 参数模型。模型采用 Looped Transformer 架构,保留首尾各 4 层原始解码器,中间层改为参数共享的循环计算模块,并尝试引入 mHC 多路残差连接。
来源:IT之家 · ithome.com