微软发布 MAI-Base-2：总参数量 2.8 万亿、激活参数量 800 亿的 MoE 模型
微软 AI 发布了 MAI-Base-2，这是一款混合专家（MoE）模型，总参数量为 2.8 万亿，激活参数量为 800 亿。微软称，该模型在预训练中的 FLOPs 效率是 DeepSeek-V4-Pro-Base 的 4 至 12 倍。今年 6 月，微软曾宣布 MAI-Thinking-1；该通用基础模型基于 MAI-Base-1 进行后训练，并被称具有较强的推理能力。
本文来源：Techmeme，仅供学习参考，版权归原作者所有。