Kalman Delta Networks：引入不确定性感知的联想记忆
研究人员提出了 Kalman Delta Networks（KDN），这是一类面向线性注意力和高效长上下文处理的新模型。KDN不仅跟踪循环记忆状态，还跟踪其不确定性，并利用卡尔曼增益，根据累积证据和观测可靠性调整每次记忆更新。由于精确跟踪协方差难以在GPU上并行执行，研究还提出了支持结合扫描的对角和各向同性近似方案。在使用7.5亿和13亿参数模型进行的受控预训练中，KDN变体相比领先的线性注意力模型取得了更低的困惑度和更高的下游任务平均准确率。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。