PaLoRA：面向持续学习的节奏式低秩适配
许多基于 LoRA 的持续学习方法采用较小的学习率来减少遗忘，但固定设置无法阻止遗忘随着历史知识累积而加剧。该研究推导出一条根据既有知识有效秩调整梯度步幅的规则。PaLoRA结合自适应SVD截断来压缩历史知识、将梯度投影到先前任务的零空间，并根据秩调整更新节奏。实验显示，与已有方法相比，PaLoRA的表现持续提升，尤其适用于较长的任务序列。在具有挑战性的50任务ImageNet-A和ImageNet-R基准测试中，该方法报告准确率提高了4%。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。