何时需要在线策略蒸馏？使用学生模型的离线 rollout 往往效果更好
这项研究比较了在线策略蒸馏（OPD）与 Semi-OPD。后者使用初始学生模型生成的离线 rollout 进行训练。在涵盖 15 亿至 2350 亿参数的 17 组教师—学生模型中，Semi-OPD 有 14 组表现更好，准确率最高提升 13.6%，训练速度最高提升至 11.4 倍。OPD 主要在教师与学生的输出已经高度一致时更有优势。研究结果表明，应根据两者输出的匹配程度选择蒸馏方法。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。