WaveFront Decoding：面向循环语言模型的并行自推测解码
WaveFront Decoding（WFD）是一种无需训练的推理加速方法，适用于反复调用同一权重共享模块的循环语言模型。该方法利用中间输出生成草稿预测，并批量处理不同位置和递归深度的 token 状态，使草稿生成与验证能够并行进行，而非分阶段执行。在 Spec-Bench 的六类任务中，与自回归解码相比，WFD 在 Ouro-2.6B 上实现了 2.42 倍加速，在 Huginn-3.5B 上实现了 3.54 倍加速。跨递归共享 KV 缓存后，Huginn-3.5B 的加速比提升至 4.81 倍。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。