进度感知蒸馏旨在缓解小型语言模型智能体的停滞
从大型模型蒸馏能力后，小型语言模型智能体在长时间交互中可能陷入低效循环。研究提出进度感知蒸馏（ProD），根据学生模型与教师模型的行为差距检测停滞，并动态施加惩罚。在参数规模为0.6B至8B的八种模型上进行的实验显示，ProD能够减少停滞，并提高任务成功率和完成效率。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。