ShellElastic：通过同步最大更新与超参数迁移实现可扩展的弹性预训练
基础模型需要支持不同的推理预算，但针对每种预算单独训练模型会重复投入预训练资源。ShellElastic 在共享权重的超网络中训练多个嵌套子网络。它将隐藏维度组织为密集核心和连续的外壳，使一次全宽度前向传播就包含各子网络以前缀形式排列的隐藏状态。因此，计算图保持固定，每步成本大致相当于只训练最宽的子网络。研究者还提出了 μE，这是对最大更新参数化的扩展；其缩放规则旨在同时最大限度地更新所有子网络，并将超参数迁移到更大的弹性模型。实验中，单次 ShellElastic 训练在参数量相同的情况下优于 MatFormer 和完全弹性基线模型，并接近需要数倍训练步数的独立训练模型。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。