SpectralShift：通过谱重参数化有效扩展 Gated DeltaNet 的上下文窗口
该研究探讨如何扩展用于长上下文建模的线性注意力架构 Gated DeltaNet（GDN）的上下文窗口。研究发现，远距离信息检索需要两个条件：足够宽的慢衰减状态动态频谱，以及保留用于状态清除和上下文切换的快衰减模式。SpectralShift 通过调整 alpha 投影的初始化来重塑衰减频谱，并对相关投影采用学习率缩放，以支持长上下文持续预训练。实验表明，该方法在训练过程中能够持续提升长上下文能力。研究代码已开源。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。