多个正确答案，一个训练样本：降低 LLM 推荐系统 GRPO 中的回答噪声
Reddit 上的推荐请求可能收到多条列出不同作品的回复。使用这类讨论串通过强化学习训练 LLM 推荐系统时，Rank-GRPO 每个样本只选一条回复，因此测得的优势很大程度上取决于抽中了哪条回复，而非生成列表的质量。研究人员提出 ReMaRk，将所有回复中的作品名称合并后进行评分，并让每个请求获得相同权重。在七种基础模型和三个数据集上，ReMaRk 仅用逐条回复训练所需步数的 25% 至 53%，就达到 2,000 个 RL 步骤的验证召回率，并在相同预算下表现领先。延长训练后，它也从未显著落后；七组比较中有四组以更少的 GPU 小时达到 Rank-GRPO 的最佳结果。在每道题约有 100 人作答的 ProtoQA 上，这种奖励方式同样有效，表明存在多个合理的人类答案时，可以联合评估。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。