AReA：面向高分辨率扩散 Transformer 的自适应感受野注意力
让扩散 Transformer（DiT）生成超出训练分辨率的图像仍有难度：分辨率提高会使 Token 数量迅速增长，完整注意力的计算成本随之上升，输出也可能出现结构失真和细节退化。研究团队将这两类问题归因于统一使用完整注意力，并提出无需额外训练的注意力机制 AReA，使感受野随去噪过程变化。早期使用基于下采样键和值的跨尺度注意力来捕捉全局信息；后期则采用逐步缩小的局部窗口。在不同目标分辨率和模型上的实验表明，AReA 优于现有免训练基线方法，同时速度更快、效率更高。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。