SpecOPD：面向推测解码的分支并行在线策略蒸馏
SpecOPD是一种在线策略蒸馏框架，可并行训练用于推测解码的草稿模型。它不依赖顺序执行的草稿生成与验证流程，而是从不断演进的草稿策略中采样独立分支，并将其组织成提案树，以共享目标模型的计算。在参数规模为8B至125B的目标模型、三种草稿架构和四类任务上进行的测试显示，SpecOPD将平均接受长度提高了最多41.45%。在原生配置下，其受监督token吞吐量是顺序rollout式OPD的16.09倍；与自回归解码相比，生成速度最高提升至3.56倍。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。