门控循环 Transformer 通过循环调制提升表达能力
一项研究提出了 Gated Recurrent Transformer，通过反复执行共享的 Transformer 核心，并利用更新门调节每次循环。该方法旨在减少每层使用独立参数的需求，同时保留深层模型的功能多样性。在相同计算量下，三层模型达到了与 12 层 GPT-2 Small 基线相当的准确率。在参数和数据预算相同的情况下，更深的循环结构取得了 2.76 的验证损失，优于非循环模型的 2.84。在更大规模下，该方法将参数量减少 63%，解码峰值内存减少 59%，但编译生成延迟增加了 10%。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。