基于可验证奖励的在线策略蒸馏
该研究提出OPDVR，将在线策略蒸馏与基于可验证奖励的强化学习结合起来。该方法利用教师模型提供的密集令牌级指导信号，并通过ReLU门控机制，使蒸馏信号与完整轨迹的正确性保持一致。正确轨迹获得非负奖励，错误轨迹获得非正奖励，同时无需增加额外超参数。在六项推理基准测试中，OPDVR均优于标准在线策略蒸馏。相关代码已在GitHub上公开。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。