GeoFix:通过几何校正实现一致的 4D 生成
视频扩散模型日益被用作 4D 生成的先验模型,但生成结果往往缺乏几何一致性。GeoFix 是一个统一框架,通过单一几何奖励提升几何一致性和视觉质量,可用于训练,也可用于推理时的奖励对齐。该奖励衡量静态场景区域在不同视角间的深度一致性,不直接约束外观,也不惩罚合理的物体运动。由于真实视频中相机视野重叠度增加也会提高深度一致性,GeoFix 会校准奖励以考虑这一影响。该方法使 WorldScore 的 3D 一致性提升 39%,VBench 质量分数提升 4%。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。