ECHO：超越辅助式多 Token 预测的高效因果自递归
ECHO 使语言模型能够预测多个未来 Token，而无需添加辅助模块或单独执行额外轮次。模型的最后一层负责预测所有跨度，动态深度采样则用于控制训练成本。研究人员报告称，增加递归深度可提升下游任务准确率，尤其是在推理和编程方面；与训练所有深度的传统多 Token 预测方法相比，额外训练开销约减半。在推理时，预训练模型可自行草拟更多 Token，并在开放式、高熵文本中保持与目标模型的对齐。据报告，即使 Token 预算翻倍、重新进行预训练或采用监督微调，这些改进仍然成立。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。