读取、分配与路由：面向像素空间生成式 Transformer 的角色耦合式词元化
像素空间 Transformer 通常需要增加词元数量才能呈现更精细的图像细节，这会提高全局注意力的计算成本。SpecSlot 将细节水平与全局注意力序列长度分离：每个空间锚点扩展为多个槽位，分别对应不同的 DCT 频带。只有最低频槽位参与全局注意力，所有槽位则进行局部交互。在 ImageNet-512 上，与 FLOPs 相当的 JiT 对照模型相比，SpecSlot 的 FID 提升 2.84，FLOPs 减少 3.9%。在文生图任务中，它在 DPG-Bench 上比 JiT-B/8 高 1.06，前向计算成本降低 40.6%。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。