LongR 通过密集效用奖励提升长上下文推理能力
LongR 是一个利用强化学习提升语言模型长上下文推理能力的框架。它结合动态的“思考与阅读”机制，在推理和查阅文档之间交替进行，并根据相关文档带来的相对信息增益设计奖励，无需标注证据。实验中，LongR 在 LongBench v2 上提升超过 9%，在 RULER 和 InfiniteBench 上也取得了持续改进。研究人员还报告称，该方法在多种强化学习算法下均能提升表现。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。