AnyTalk：利用视频生成模型为任意角色生成语音动画
AnyTalk是一种为任意角色生成3D语音动画的方法，无需动画数据或繁琐的绑定与重新建模。该系统利用角色渲染图像，将预训练的视频扩散模型适配到目标角色，再通过估计blendshape参数，将生成的说话头像动作转换为3D动画。该方法可针对不同面部网格和blendshape配置生成唇形同步动画，并减少人工工作和数据需求。研究团队还将AnyTalk蒸馏为支持实时运行的AnyTalk_RT版本，代码已公开。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。