HiRAE:采用残差预算的分层表征自编码
HiRAE是一种分层自编码器,融合视觉编码器各层级的表征,以提升图像重建质量,同时保持与生成模型的兼容性。该方法以最深层表征为锚点加入残差修正,并为较浅层级设置更严格的预算,限制修正幅度。HiRAE-24保留了潜在标记数量和通道维度。在ImageNet-256上,相比RAEv2,其重建FID从0.299降至0.209。在文生图任务中,HiRAE-24还在GenEval、DPG-Bench和GenAI-Bench上提升了对齐表现。在相同的生成器训练和评估协议下,监督微调后的GenEval分数从84.86提高到87.70。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。