结构化残差连接提升扩散 Transformer 性能
该研究分析了扩散 Transformer（DiT）中的残差连接。现有 DiT 通常将前面各层的信息整合到统一的残差流中。研究人员提出一种自适应连接架构，将局部残差连接与通往重要早期表示的长距离路径结合起来，使每个 Transformer 模块能够在图像去噪过程中选择性地提取空间和语义特征。实验显示，该方法最多可减少至原先 1.73 分之一的训练迭代次数，并将强大的 REPA-XL/2 模型在无引导条件下的 FID 从 5.9 降至 4.34。结合无分类器引导时，FID 达到 1.39，新增参数少于 0.1%。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。