Recurrent Looped Transformer
Recurrent Looped Transformer（RLT）将并行因果编码器与循环解码器结合，解码器在每个 token 处理中纳入前一个 token 的最终状态。因此，计算路径会随序列长度增长，而每个 token 的计算成本保持不变。在六项算法任务中，两种 RLT 配置将最多用 40 位训练的奇偶性任务泛化到 256 位，准确率达到 100%；标准 Transformer 则仅达到随机水平。RLT 在排列跟踪和模运算上也显著优于基准模型。消融实验表明，反馈机制至关重要。每四个 token 更新一次反馈可以支持部分并行处理，但会损害排列跟踪表现。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。