UniAVC：通过渐进式训练与非对称调度实现统一音视频生成
UniAVC 是一个用于联合生成和编辑音频与视频的模型。它先利用丰富的单模态数据训练音频和视频分支，再通过配对数据学习模态之间的关联。模型为音频和视频分别设置噪声调度，以适应两者不同的生成动态；训练还涵盖由一种模态引导另一种模态的非对称流程。因此，模型可以在编辑一种模态时保留另一种，也可以在生成后仅重新生成效果不理想的分支。多种任务由同一套权重支持，无需针对特定任务使用适配器。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。