面向长上下文线性注意力的克罗内克 Delta 规则
KronLSTM 是一种基于克罗内克 Delta 规则的线性注意力架构，用于关联矩阵记忆，并扩展了 xLSTM 系列。其记忆修订机制沿矩阵空间中的单一方向修改记忆，从而校正特定关联。作者表示，这能减少对已有信息的干扰，适用于长上下文语言建模。分析表明，即使不采用额外的归一化或稳定化机制，记忆动态也能保持稳定。实验中，KronLSTM 与现有线性注意力架构相比具有竞争力，并在部分长上下文基准测试中取得更好表现。代码和模型已开源。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。