精确性优先于完整性：FORK 减少基于评分标准的强化学习中的奖励投机
基于评分标准的奖励使强化学习能够应用于答案难以验证的任务。但由于这类奖励通常侧重于覆盖评分项，模型可能生成更冗长、包含多余或错误信息的回答。研究人员提出 FORK 奖励方法，同时优化覆盖度和精确性，要求回答中的每个部分都必要且符合事实。实验显示，在保持评分标准覆盖度相近的情况下，FORK 提高了精确性并缩短了回答。与基础策略相比，其胜率在 RubricHub-Medical 上从 10.6% 提升至 68.0%，在 HealthBench 上从 22.1% 提升至 74.1%。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。