三思而后行：Metis-1.6 技术报告
报告介绍了由一名研究者从零开始训练的两款语言模型：Praxis（29.4 亿参数）和 Logos（102.3 亿参数）。两者均结合了 Mamba-2、注意力机制与混合专家架构，每款模型的训练数据总量为 1.02 万亿 token。Logos 在报告对比的 17 款模型中排名第七，所用训练数据和每个 token 激活的参数量均显著少于更大的模型。它在数学任务上表现较强，但在代码、指令遵循和长上下文任务上较弱。报告还分析了削弱模型能力的训练与微调决策，以及一项会惩罚正确长答案的长度奖励错误。最后，报告介绍了面向 Metis-1.7 的递归架构 MoRE 的消融实验。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。