一个模型适配不同循环次数：面向语言模型的弹性潜在递归
Elastic Latent Recurrence（ELR）是一种语言模型训练方法，通过反复运行共享的层模块来工作。推理时可以调整循环次数，以更多计算换取更高准确率。ELR旨在消除传统循环模型在单次循环时的准确率损失，使模型在相同规模和训练数据下达到与非循环模型相近的表现。在4B稠密模型和30B-A3B MoE模型的十项任务平均测试中，单次循环得分分别比对应基线低0.52分和高1.04分；四次循环分别提升7.25分和4.75分。经过后训练的Koi-4B据估计在Artificial Analysis Intelligence Index上单次循环得分为18，四次循环为29。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。