Complex KDA：理解并提升 Kimi Delta Attention 的表达能力
该研究提出了 Complex KDA（CKDA），这是面向高效线性循环神经网络的 Kimi Delta Attention 扩展。通过将基于 delta rule 的变换与按通道的反射门控结合，CKDA 在保留对角加秩一、非扩张转移结构的同时，可以表示二维旋转。研究人员证明，CKDA 能够精确表示所有具有这一结构的正交矩阵。实验显示，在状态跟踪和周期性音频延续任务中，CKDA 在测试的 KDA 设置中取得了更强的长度外推能力。在语言建模方面，CKDA 在报告的实验中优于 Transformer 和其他线性 RNN，但与 KDA 基线的结果相近。代码和模型已公开发布。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。