语言模型的自我保持
一项研究探讨了语言模型能否在持续学习过程中帮助更广泛地保持自身能力。由于用于保持能力的任务只覆盖模型知识的一部分，研究人员让一个冻结模型根据结构化任务库生成额外的回放数据。使用不同规模的 Qwen 模型进行的实验表明，新任务和学习率会影响哪些既有能力发生退化；追踪模型此前答对的问题，可以发现平均准确率可能掩盖的能力损失。生成的回放数据能够减少任务库之外任务的遗忘，结合多个部分任务库还能进一步提升保持率。在 4B 模型上，根据新任务选择回放目标优于随机选择，但更小的模型没有表现出相应优势。在样本预算固定时，增加回放可以更好地保护旧能力，却会牺牲新任务上的部分提升。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。