SpecKCast以频谱卡尔曼预测加速扩散模型
Diffusion Transformer能够生成高质量图像和视频，但推理时需要在多个去噪步骤中反复运行Transformer，计算成本较高。SpecKCast是一种无需训练的方法，在频域预测模型输出。它对输出应用二维离散余弦变换，并用轻量级卡尔曼滤波器跟踪各个系数；时间坐标根据频带和噪声调度进行调整。当预测不确定性超过阈值时，才重新运行Transformer。在FLUX.1-dev、Qwen-Image、Wan2.1-14B和HunyuanVideo上的实验显示，与现有缓存和预测方法相比，SpecKCast在加速与保真度之间取得了更好的平衡，最高可提速6倍，额外内存占用不到0.05 GiB。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。