SepGen：用单一模型实现多音轨音视频分离与生成
SepGen扩展了一个预训练音视频生成器，使其能够在一次联合采样中生成视频、混合音轨，以及对应文字描述中各个声源的独立波形。它既支持生成单独的音频轨，也能根据文本描述分离已有的混合音频。在合成场景以及真实语音、音乐和音效录音上的评估中，SepGen优于以语言为条件的分离模型，尤其在语音分离方面表现突出。研究人员称，即使描述中不包含实际台词，模型仍保持领先。代码、模型检查点和数据集均已公开。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。