归一化低秩适配
研究人员提出了归一化低秩适配（NoRA），旨在提升 LoRA 训练的稳定性和效果。NoRA 可在训练过程中，或仅在初始化阶段，对下投影矩阵进行归一化。作者表示，该方法在预训练、监督微调和强化学习中能够加快收敛、提升性能与训练稳定性，并缓解灾难性遗忘。NoRA 不需要增加可训练参数，也不会带来额外的推理计算。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。