评估论证：DeCert监督生成式奖励模型的决策证明
生成式奖励模型会为偏好判断生成自然语言论证，但正确的结论并不保证论证合理。DeCert是一种无需参考解释即可评估生成论证有效性及其与结论一致性的框架。当多个采样判断共享同一个正确结论时，DeCert利用论证质量差异构建偏好监督信号，从而区分更强和更弱的论证。在两个模型系列及多个分布内外基准上的实验表明，DeCert持续优于强大的生成式评判基线。同时，该方法还能缓解位置偏差，使位置一致性准确率最高提升14.8个百分点。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。