World-in-Context:通过上下文内条件化进行交互式视频世界建模
World-in-Context 是一种交互式视频世界建模框架,利用共享自注意力空间中的显式标记来控制视角、角色动作和摄像机运动。研究团队还提出 IT-RoPE,通过累积的控制变化来建模时间注意力。在 WBench 导航测试中,50 亿参数模型得分为 81.5,接近 220 亿参数的 EchoWM(81.6)。其视角切换成功率达到 93.8%,高于受测现有 5B 基线模型的 18.8%。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。