从评分标准到基于证据的判定：结合工具增强评审器的逐点评分奖励
该研究提出 ReVeR，一种逐点评分奖励模型，仅根据指令推导评估标准，并通过工具增强的评审器独立评估回答。研究采用不查看标签的蒸馏方法，构建了包含大规模评分标准推理和评判轨迹的 ReVeR-Traces 数据集。实验显示，ReVeR 在偏好准确率上优于成对式评分模型，尤其在指令遵循方面表现更明显，同时在测试时扩展和下游策略优化中也取得更好结果。研究还指出，评分标准忠实度、偏好准确率和下游策略效用是彼此独立的属性。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。