通过合成自蒸馏持续后训练小型模型
持续后训练需要让模型掌握新能力，同时保留已有知识。现有自蒸馏方法依赖较强的上下文学习和指令遵循能力，因此在小型模型上往往效果不佳。研究提出合成自蒸馏（SynthSelf），利用同系列稍大的模型生成合适的训练样本，并结合离策略监督和拒绝采样，为小型模型提供高质量学习信号，同时避免大幅改变其原有输出分布。在4个能力获取数据集和14项知识保持基准上的评估显示，SynthSelf在三种小型模型规模下均优于6种对比方法。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。