寄存器令牌实现扩散语言模型的有界状态推理
研究人员提出了一种寄存器令牌方法，使掩码扩散语言模型能够在多个生成片段之间保留推理进度，而无需将此前生成的文本继续保存在上下文中。这些固定位置的令牌通过连续隐藏状态在片段之间传递信息，模型清除已生成文本后，再根据原始提示和保留状态继续生成。在 LLaDA 和 Dream 上的评测中，寄存器方法在所有基准测试中都优于传递离散文本的方法，数学任务最高提升 8.5 分，代码任务最高提升 19.5 分。该方法在通常需要跨越多个片段的受限代码生成中尤其有效，还可以通过强化学习进一步优化长程推理能力。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。