学习率调度可能缺乏明确原理：权重归一化训练中的有效学习率调度
研究发现，与传统权重衰减（WD）相比，权重归一化（WN）训练所报告的预训练收益，主要来自有效学习率（ELR）的变化轨迹，而不只是归一化本身。让ELR轨迹保持一致后，WN与WD的训练损失动态基本趋同。因此，作者建议以ELR而非仅以名义学习率为目标设计调度方案，并提出带仿射调整的反平方根衰减方法AIR。在使用1280亿个token进行Mixture-of-Experts预训练的实验中，AIR在训练损失、下游表现和超参数鲁棒性方面优于Cosine等候选方案。在累计学习率相同的条件下，AIR的最终训练损失比Cosine低约0.01。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。