面向可验证奖励大语言模型强化学习的谱驱动自适应秩优化器
一项研究探讨了可验证奖励强化学习（RLVR）是否具有不同于监督微调的优化结构。研究人员发现，随着 RLVR 训练推进，梯度能量逐渐集中到更小的有效子空间；监督微调中没有出现这一现象，而将可验证奖励替换为随机奖励后，该现象大幅减弱。基于此，研究团队提出 Ares，根据梯度的谱结构动态调整更新秩。在不同规模的语言模型实验中，Ares 的准确率高于常用优化器，并可推广到多种 RLVR 算法和任务。代码与数据已公开。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。