近乎为零的 Token 嵌入可能悄然阻碍门控序列模型训练
一项对 291 个开放权重模型仓库的调查发现，在未共享权重的门控及混合型检查点中，52.6% 存在近乎为零的输入嵌入；共享权重模型则未发现这一问题。测试显示，这类 Token 可能在 Mamba、Gated DeltaNet 和 xLSTM 等模型中引发极大的梯度。全局范数裁剪可能因此在 FP32 中溢出，并将该训练步骤的梯度清零。Nemotron-3-Nano-4B 进行泰卢固语持续预训练时，约 20% 步骤的更新因此被丢弃。作者提出用于现有检查点的 GroupClip，以及用于预训练的 GateFloor。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。