将每项奖励分配给相关 Token：面向多奖励强化学习的奖励专属 Token 级信用分配
论文提出 MRTPO，用于在语言模型训练中分配多种可验证奖励。与将每项奖励的优势均匀分散到整个回答中的 GDPO 不同，MRTPO 会把优势分配给与该奖励相关的 Token。该方法比较模型在有无对应验证器信息时的下一个 Token 分布，并用 Jensen-Shannon 距离估算各 Token 的相关性。在文本转 SQL、多约束指令遵循和工具调用任务中，作者报告称，MRTPO 比所比较的方法收敛更快、性能更好。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。
上一篇
Meta 删除暗示可抓取与商业账户相关网站内容的服务条款
已经是最后一篇