将几何信息作为地址：在长时域相机控制视频生成中路由注意力至视觉记忆
研究人员提出了 GEAR，一种用于长时域相机控制视频生成的框架。该方法不将历史观测融合为持久的全局三维表示，而是保留每帧的潜在表示，并利用几何信息作为令牌级地址来检索相关视觉特征。几何对应注意力模块会在去噪过程中，将匹配的历史特征选择性地注入目标图像块。研究人员还引入了不可见八叉树，用于累积可见性证据，排除几何上合理但实际被遮挡的对应关系。实验结果显示，GEAR 在视觉质量、相机控制和场景重访一致性方面达到当前先进水平，并能够沿复杂轨迹生成持续数分钟的视频。实际效果仍取决于所使用的基准和评估条件。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。