SPOT通过预测提交顺序加速扩散语言模型的推测解码
扩散语言模型可以并行生成文本，但仍面临速度与质量之间的权衡。SPOT是一个拥有62万参数的模型，仅利用目标模型的输出分布来预测下一步生成的位置并提出候选续写，再由目标模型在一次计算中进行精确验证。在SDAR-8B上，SPOT将目标模型的运行次数最多减少6.8倍，吞吐量最高达到标准解码的3.4倍。SPOT-Sets将该方法扩展到动态阈值解码，相比单独使用阈值解码，使SDAR-8B的平均吞吐量提升59%。研究还报告称，提议模型可以迁移到多种扩散语言模型。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。