InstantFusion：面向异构图像生成器的共享潜在接口
扩散模型和流模型已成为图像生成的主流方法，但不同模型间潜在表示的对齐问题仍缺乏充分研究。这项研究提出轻量级共享潜在接口 InstantFusion，用于连接独立训练的图像生成器的去噪轨迹。针对各模型的潜在自编码器会将中间状态映射到共享潜在空间，再转换到目标模型的潜在空间。训练时，系统对齐相同噪声水平下的状态，并同步其局部去噪方向。训练完成后，冻结的生成器可以在去噪过程中传递状态，无需为每对模型单独构建映射。研究评估了该方法在加速、偏好组合、跨架构蒸馏和跨模型组合等场景中的表现。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。