面向推测解码的验证感知训练
研究人员提出了 Verification-Aware Training（VAT），一种用于提升大语言模型推测解码性能的插件式训练方法。VAT在训练过程中模拟顺序验证流程，并将每个位置的接受与拒绝模式转化为监督信号。该方法结合轻量级验证头，以及在首次拒绝位置后重新开始权重衰减的自适应加权机制。VAT只修改训练目标，无需改变草稿模型架构、目标模型或推理流程。在EAGLE-3和DFlash搭配Qwen3及Llama-3.1的测试中，数学、代码和聊天基准上的平均接受长度最高提升11.4%，实测运行加速最高提升8.7%。研究团队计划在GitHub公开代码。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。