推测扩散：两种权衡的故事
该研究探讨如何通过同时调整两个参数，加速自回归大型语言模型的推理：扩散计算量，以及接受草稿模型生成内容时的宽松程度。传统推测解码相对于验证模型的分布不会损失质量；扩散语言模型则可以减少扩散计算，以一定质量损失换取更高速度。研究还允许推测解码接受质量较低的样本。实验表明，同时调整扩散计算量和接受宽松度，比单独使用单步扩散草稿能实现更优的速度—质量帕累托前沿。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。