ActionSplice:交互式世界模型中的生成中动作编辑
ActionSplice是一种面向分块自回归视频世界模型的推理框架,可在视频生成过程中处理新动作。该方法将问题表述为反事实状态传输(CST),利用轻量级校正器,将被中断的模型表示移动到修改后动作在同一求解器步骤所对应的状态。骨干模型和采样器保持不变,也无需重新执行已经完成的评估。CST-R会更新整个活动分块,CST-T则保留时间前缀,仅更新后缀。在minWM-Wan Action2V和HY-WM1.5测试中,与直接替换条件相比,CST-R使相对于回滚的LPIPS分别降低61.5%和75.9%。CST-T使后缀LPIPS分别降低56.1%和77.5%,相较于等待下一个分块,速度分别提升2.73倍和1.69倍。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。