BLARM:通过融合潜在刚性运动基元从视频生成3D物体动画
BLARM是一种由视频驱动静态3D网格动画的前馈方法。给定单目视频和物体网格,系统能够生成时间上连贯的动画网格,无需显式骨架、笼状模型、蒙皮权重或绑定标注。该方法使用一组随时间变化的学习型刚性运动组件,以及将顶点分配给组件的时间不变权重来表示运动。几何特征和视频特征通过分解式时空注意力进行融合。训练过程结合轨迹重建、熵正则化和运动感知对比学习,旨在通过低维变形空间生成准确、稳定且具有一定可解释性的运动结构。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。