4DAnyone:从普通单目视频中将任意人物重建为4D
4DAnyone是一种从未经标定的单目视频中重建4D人物的框架。系统首先生成适合重建且具有多视角一致性的视色视频,然后将其提升为4D Gaussian Splatting表示。该方法通过两项技术解决注意力上下文受限的问题:Reference Context Packing将不断增长的参考视角压缩为固定长度的上下文,Target Context Routing则在去噪过程中促进不同目标视角组之间的信息共享。研究团队构建了MVGameHuman数据集,并结合灯光舞台和真实环境视频进行训练。在DNA-Rendering和DyMVHumans上的实验显示,该方法提升了新视角视频质量和后续4DGS重建效果,并能较好地泛化到真实场景视频。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。