仅依赖排序的在策略蒸馏
在策略蒸馏利用学生模型自身生成的内容进行训练，使其匹配教师模型的 token 概率。这些概率既体现教师偏好的 token，也体现其置信度，而较小的学生模型可能难以复现这种置信度；该方法还会受到教师温度设置的影响。研究提出 Order-Only On-Policy Distillation（O³PD），让学生模型学习教师模型排名前 K 的 token 顺序，而不拟合其概率值，因此训练目标不受温度影响。在六组教师与学生模型的测试中，O³PD 在 HMMT25、AIME24 和 AIME25 的平均表现均优于标准在策略蒸馏，整体最高提升 2.9 分，在 AIME25 上最高提升 5.6 分。结果表明，在这种知识迁移中，token 排序可能比概率值更有用。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。