学习表征以引导像素扩散Transformer
一项新研究探讨了哪些视觉表征适合图像生成。研究发现，更高质量的表征并不一定带来更强的生成能力，因为语义信息可能在像素合成过程中逐步丢失。研究人员提出Representation Guidance，通过低维瓶颈将生成所需的信息集中到紧凑表征中，并明确利用该表征引导解码器生成。在ImageNet 256×256设置下，仅有4.59亿参数的RG-L/16大幅超过更大的像素扩散Transformer。RG-XL/16达到1.55的FID，在512×512分辨率下达到1.74。该方法还扩展到文生图任务，在GenEval上得分0.89，在DPG-Bench上得分87.1。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。