每个回合都重要：通过回合级信用分配改进流式视频强化学习
理解流式视频时，模型需要反复判断是回答还是继续观察。现有的组相对策略优化（GRPO）方法通常对整个交互过程使用统一的优势值，这可能强化重复回答，或抑制有用的后续回应。研究人员提出 TurnWise，这是一种针对单次决策分配信用的 GRPO 框架。它根据每次决策之后的剩余回报计算组相对优势，并先在每个回合内、再跨回合平均策略损失。因此，无论输出长度如何，回答和等待决策都获得相同权重。实验显示，TurnWise 在流式视频理解任务中优于以往的强化学习方法，且不需要训练评论器或额外生成轨迹。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。