在自回归视频生成中建模未来演变
自回归视频扩散模型逐段生成视频,但生成合理的后续内容并不意味着模型掌握了场景如何演变。本文提出辅助训练目标 Future Chunk Prediction(FCP),在无法获取中间视觉上下文的情况下预测时间上相隔的视频片段。FCP直接从训练视频中获取监督信号,无需预训练视觉编码器,也不改变自回归推理过程。作者称,与标准教师强制训练相比,该方法提升了物理合理性,同时降低了训练所需的总体计算量。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。