摩尔线程开源 Megatron-MUSA-Titan，面向万卡集群的万亿参数 MoE 模型训练
摩尔线程开源大模型训练基础设施项目 Megatron-MUSA-Titan，面向其 GPU 平台上的万卡级集群，支持万亿参数 MoE 模型的预训练与强化学习。据公司介绍，该项目已用于相关规模的预训练，支持 blockwise FP8 训练，并通过通信与计算重叠提升训练效率。它还可与 slime、miles 强化学习框架，以及 Megatron 训练和 SGLang 样本生成协同使用。
本文来源：IT之家，仅供学习参考，版权归原作者所有。