重新审视在线策略蒸馏中的相对策略差异
这项研究提出在线策略蒸馏的统一框架，将代理专家与参考策略之间的对数概率比视为 KL 正则化策略优化中的隐式奖励。该方法将传统蒸馏纳入其中作为特例，并支持在规模和训练阶段不同的模型之间迁移。实验发现，强化学习和监督微调等任务特定训练产生的差异，比单纯的模型规模差异更能提供稳定的监督信号。专家提供待迁移的能力，参考策略则过滤共同的行为。迁移能否成功，还取决于更新是否使目标策略接近专家，并能否在采样得到的轨迹之外实现泛化。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。