DAMI：通过双轴记忆初始化提升门控线性注意力的长上下文检索能力
线性注意力的计算量随序列长度线性增长，但有限状态记忆可能限制长上下文检索。本研究提出双轴记忆初始化（DAMI），在训练前联合初始化 A_log 和 dt_bias。该方法在注意力头之间分配几何级数时间尺度，并在不同层设置低—高—低的输入敏感度曲线。少量激活值样本即可校准初始化，且不增加可训练参数。在 GDN、KDA、GDN2、Mamba-2 和 RWKV-7 上，与随机初始化基线相比，DAMI 使 RULER 类检索任务的平均准确率提高了 5.29 至 16.71 个百分点。语言建模、常识推理和真实世界数据检索的表现总体上与基线相当。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。