VA-TDM：通过速度对抗蒸馏改进少步扩散模型的统一方法
VA-TDM旨在让只需少量采样步骤的扩散模型和流模型保持生成质量。该方法利用训练得到的评判器比较学生模型与教师模型的速度场，并将差异转化为训练反馈。它统一了多种现有蒸馏方法，并加入与学生模型生成轨迹相匹配的监督机制。论文报告称，VA-TDM在多种模型骨干的文生图和文生视频任务中，以四步生成达到领先表现，并可扩展至330亿参数的MiniMax-H3。作者还表示，VA-TDM-H3优于Fast-H3，并在人类偏好评估中更接近原始的多步H3。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。