FrameForge:利用视频基础模型的先验知识实现统一图像生成
FrameForge利用预训练视频模型进行条件图像生成与编辑。它不再将条件和目标固定在特定时间位置,而是根据输入调整虚拟时间关系。Mixture of Temporal Experts动态选择不同时间间隔的RoPE专家;Chain of Temporal Reasoning则通过潜在中间状态引导转换过程。在DreamBench、COCO2017和GEdit-Bench测试中,FrameForge在主体驱动生成、Canny边缘图转图像和图像编辑方面优于对比方法。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。