HarnessRL：通过即时训练框架实现开放式强化学习策略协同演进
基于评分标准的强化学习使用自然语言准则作为奖励，但随着训练推进，这些奖励可能逐渐失效。研究人员发现了两种问题：缺乏区分度的奖励会使分数几乎一律偏低或偏高；虚假奖励则无法反映回答质量。HarnessRL会随着策略变化，在训练过程中调整任务采样、生成引导和评估标准。即时评估器使用当前冻结的策略检验候选更新的效果。在新的Rubric-Mix-10k基准测试中，HarnessRL在4B和9B模型规模上均比最强基线高出2.8至3.1分，达到最佳检查点所需的训练步数也几乎减半。代码和数据已公开。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。