DTCA：扩散语言模型强化学习中的去噪式 Token 贡献分配
论文提出 DTCA，用于在扩散语言模型的强化学习中分配 Token 级学习信号。该方法通过测量某个 Token 确定后，仍被遮蔽位置的预测置信度如何变化，来估计该 Token 的贡献；再按词性对信号分组，用于选择信息量较高的去噪步骤并分配训练反馈。在 LLaDA-8B-Instruct 上的实验显示，DTCA 在不同生成预算下均提升了数学推理表现：相较基础模型，MATH500 最高提升 9.0 分，GSM8K 提升 5.3 分。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。