结合教师演进的 On-Policy 自蒸馏
On-Policy 自蒸馏有助于训练语言模型，但模型自行生成的指导信号并不总是可靠。论文提出 Teacher-Evolution Self-Distillation（TESD）：模型生成 rollout，并根据任务正确性和上下文独立性获得环境反馈。这些反馈既用于提升模型作为教师的能力，也用于在优化学生模型时降低指导信号不可靠样本的权重。在多个数据集和不同模型规模上的实验显示，该方法优于所评估的代表性对比方法。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。