PhysStream：结合结构化场景记忆与细粒度运动控制的物理基础视频生成
PhysStream是一种用于物理基础图像到视频生成的自回归模型。它利用从此前生成帧中在线提取的位置图和物体跟踪图，并通过表示速度增量的稀疏信号控制具有物理意义的运动。该模型采用两阶段训练，可在生成包含多个桌面刚体物体的场景过程中进行交互式控制。在合成基准测试中，与最强基线方法相比，PhysStream将运动分布距离降低33%，将轨迹误差降低12%。在真实场景比较中，人类评审在超过85%的情况下更偏好其生成结果。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。