优化中的渗流动力学：方差级联与离散尺度不变性
该研究分析了随机梯度下降（SGD）的动力学。SGD 已知会将深度神经网络引导至与更简单子网络相对应的不变集合。研究人员将随机梯度流建模为渗流过程：架构对称性使子网络以离散且同步的区块合并，而不是逐个合并。这些结构转变会在宏观序参量中表现为方差尖峰，类似物理学中的相变。在明确的重尾噪声模型下，研究还表明，这种俘获机制及其相关的尺度级联可以扩展到 Adam 和 AdamW。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。