NCP-ArchPreview通过下一概念预测探索潜在空间语言模型
NCP-ArchPreview在标准的下一词元预测（NTP）之外，引入了下一概念预测（NCP）。模型预测跨越多个词元的离散概念，并将其反馈到词元层面以指导后续生成。该模型拥有89亿个参数，使用Dolma-3的5.73万亿个词元进行训练。报告称，模型仅消耗总训练词元的51.3%，就达到了OLMo-3-7B最终预训练损失；完成训练后，其下游任务宏平均成绩高出2.45分，在GSM8K上提升5.99分。研究还报告了更低的计算需求，并展示了潜在空间在轻量级领域适配和推测解码中的应用。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。