强化学习后能力整合中 On-Policy 蒸馏的泛化局限
一项基于 Qwen3 模型的研究发现，On-Policy 蒸馏（OPD）及多教师版本能够较好地迁移训练分布内的能力，但在分布外任务上仍存在差距。在组合任务中，MOPD 的表现比最佳教师模型低 18.19% 至 24.34%。研究人员将教师模型能力和训练数据覆盖度视为潜在瓶颈；在实验中同时解决这两个问题后，分布外遗忘得以消除。研究还提出基于更新几何的修补方法，以及保留基础模型的回放策略，以提升分布外表现并大体维持分布内性能。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。