三元线性注意力：面向长上下文序列建模的三维循环状态
循环神经网络将历史上下文压缩到固定大小的记忆状态中，从而实现常数时间推理。三元线性注意力扩展了线性注意力：它将键、第二个键和值的三重外积写入三维张量状态，再通过两个查询读取。维度为 E 的第二个键可使状态大小扩大 E 倍，但只需增加两个投影。该方法兼容数据依赖遗忘、delta 规则和分块并行训练。应用于 Gated DeltaNet 和标量门控线性注意力时，它提升了长上下文语言建模和信息回忆能力，并优于通过扩大状态来改进性能的其他方法。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。