Dion3：实现全栈正交更新优化
Dion3是Muon优化器的改进版本，旨在降低Newton-Schulz正交化步骤带来的计算和通信开销。其Gram Newton-Schulz算法减少了FLOP成本，优化后的CuteDSL内核利用对称性提升速度，批量合并策略则降低分布式训练中的通信开销。此外，新的更新规则每一步只对动量矩阵的一部分行进行正交化。作者称，Dion3在损失表现上可达到或优于Muon，同时将优化器单步耗时最多缩短6倍。该工具已通过开源dion软件包提供，可作为Muon的直接替代品。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。