Waypoint-OPD：通过门控式在线策略蒸馏迁移强化学习引发的策略变化
Waypoint-OPD利用同一轮强化学习训练中的中间检查点，比较教师模型在训练早期和后期的动作偏好变化。如果变化方向不一致，该方法就降低最终策略变化向学生模型的迁移权重。与仅依据最终检查点进行迁移相比，它需要对冻结的教师模型额外进行一次评分。在以经过强化学习训练的Qwen3-4B为教师、Qwen3-8B、Qwen3-14B和Qwen3-30B-A3B为学生的测试中，Waypoint-OPD在数学和代码推理的六种设置下，均取得了所比较蒸馏方法中最高的领域平均分。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。