百度开源2800亿参数文心5.5 Flash Base
百度于11月5日开源基座模型文心5.5 Flash Base。百度称，这款MoE模型在知识、推理、数学、代码、多语言和长上下文等多项基准测试中刷新同尺寸模型成绩，并超过DeepSeek-V4-Flash-Base等模型。模型总参数量为2800亿，激活参数量为140亿，使用33.5万亿Token进行预训练。预训练上下文长度最高为128K，微调和推理阶段支持最长100万Token。技术改进包括稀疏注意力机制、多路由器专家选择，以及无需额外MTP模块、利用主干最后一层预测后续Token的训练目标。
本文来源：AIbase，仅供学习参考，版权归原作者所有。