Speculative Forcing 提升自回归视频生成效率
自回归视频生成器通常会将每个 token 都处理到最后一个去噪步骤,即使部分结果已经趋于稳定。Speculative Forcing 检查中间估计,提前将符合条件的 token 确认为最终输出,同时保留其缓存的键和值,供其余 token 作为上下文。研究测试了无需训练的验证器和学习型验证器。评估结果显示,该方法在保持完整步数采样质量的同时减少了计算量。在 LongLive 上,每个 token 平均约需 1.7 个去噪步骤,速度提升超过 1.5 倍,达到每秒 41.7 和 37.8 帧。在 Lingbot-World 2.0 上,每个 token 约需 2.5 步,仍能保持质量,速度提升 1.35 倍,达到每秒 24.5 帧。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。