WorldCast：支持大角度相机控制的世界一致角色视频生成
该研究提出了CLACT，这是一个面向角色视频生成中大角度相机轨迹的大规模数据集和基准。此类轨迹结合旋转、平移以及相机半径变化，可能暴露初始画面中未出现的角色区域，从而导致几何失真、外观退化和身份漂移。WorldCast利用估计的深度信息，将初始画面反投影为3D点云，使其尺度与目标相机轨迹对齐，并沿轨迹渲染，以提供明确的几何引导和覆盖掩码。此外，几何对齐记忆注意力模块GAMA利用相对相机位姿和多视角角色锚点，检索并注入与目标视角相关的角色特征。评估结果显示，该方法能够更准确地跟随相机轨迹，同时更好地保持角色的几何结构、外观和身份。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。