通过语言正则化进行自蒸馏
On-policy 自蒸馏（OPSD）利用教师模型训练大型语言模型。教师与学生来自同一模型，但教师能获得已验证解答等特权信息；学生看不到这些信息，而是根据教师对自身采样回答给出的下一 token 分布进行学习。特权信息可能促使模型采用推理捷径，并降低输出分布的多样性。研究人员提出语言正则化自蒸馏（VRSD），通过系统提示调节教师使用特权信息的方式，以鼓励重新思考和探索。在三个模型、四项任务的实验中，VRSD 在 12 种模型与任务设置中的 11 种提升了 Pass@1，平均提高 3.9 个百分点，同时通常保持更高的 token 熵。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。