IT之家·· 18 天前AI 评分22
摩尔线程开源 Megatron-MUSA-Titan，面向万卡级集群万亿参数 MoE 训练
摩尔线程开源 Megatron-MUSA-Titan，聚焦万卡级集群的万亿参数 MoE 模型训练
AI 导读
摩尔线程开源大模型训练基础设施项目 Megatron-MUSA-Titan，基于其全功能 GPU，聚焦万卡级集群的万亿参数 MoE 模型训练，覆盖预训练与强化学习两大场景。
来源：IT之家 · ithome.com
摩尔线程开源 Megatron-MUSA-Titan，面向万卡级集群万亿参数 MoE 训练