关节、镜头、开拍：为任意骨架绑定协同生成 3D 动作与视频
一种新模型可为任意骨架绑定（rig）同步生成视频和相应的 3D 动作，并估计摄像机位置，将动作映射到场景中。与以往仅支持人体骨架，或通过 2D 姿态图重建 3D 动作的方法不同，该模型将动作交由独立模型处理，再通过少量交叉注意力层与预训练视频模型连接。研究团队利用人物和机器人视频，以及包含动画 3D 资产的精选场景，构建了近 20 万组训练数据。据研究团队介绍，与以视频为先的方法相比，该模型能更忠实地根据文本指令为多种 rig 制作动画。它还支持视频与 rig 动作之间的相互转换，并可通过关键帧控制 3D 动作。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。