NitroFusion2 将对抗损失引入多模态扩散 Transformer 的文本流
传统的对抗式扩散蒸馏通常使用图像特征进行判别。NitroFusion2 提出文本流对抗蒸馏（TSAD），将文本 token 的中间状态用作判别器表征。由于联合注意力使文本流能够融入图像信息，方面提示判别（ACD）可引导训练侧重字体排版、物体或风格等属性。研究团队称，该方法将蒸馏步数从常见的 4 至 8 步减少到 1 至 2 步，同时保持相近质量。单步生成即可呈现清晰文字和丰富细节；两步生成在所评测的基准上仍具竞争力。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。