蚂蚁百灵开源 Ling-3.0 Tiny 与 Flash 基础模型，公开训练过程关键 Checkpoint
蚂蚁集团 AI 团队百灵开源了 Ling-3.0-tiny 和 Ling-3.0-flash 基础模型。除最终 Base checkpoint 外，团队还公开了预训练和中期训练阶段的 checkpoint，两个模型合计 6 个。Ling-3.0-tiny-base 拥有 79 亿总参数和 13 亿激活参数；Ling-3.0-flash-base 拥有 1240 亿总参数和 51 亿激活参数。这些 checkpoint 可用于持续预训练、领域监督微调、偏好优化、强化学习后训练、蒸馏，以及长上下文和 Mixture-of-Experts 系统研究。它们并不是已经完成指令对齐的聊天模型，未经额外训练、对齐和评估，不应直接部署为面向终端用户的服务，也不应直接用于安全关键型应用。
本文来源：IT之家，仅供学习参考，版权归原作者所有。