百度开源发布 ERNIE 5.5 Flash Base，总参数量达 2800 亿
百度已公开 ERNIE-5.5-Flash-Base 的模型权重。这是一款稀疏 MoE 语言模型，总参数量为 2800 亿，每个 token 激活 140 亿参数，并使用 33.5 万亿个 token 从零完成预训练。百度称，模型训练时的上下文长度最高为 128K token，微调和推理支持最高 100 万 token。此次发布的检查点处于预训练结束阶段，未经中间训练或后训练，可作为领域适配、指令微调和强化学习研究的起点。百度表示，经过后训练的 ERNIE 5.5 Flash 将于后续推出。
本文来源：IT之家，仅供学习参考，版权归原作者所有。