SpecPilot：面向推测解码的自主算法发现与系统优化
推测解码通过轻量级草稿模型一次提出多个词元，再由目标模型进行验证，从而加速大语言模型推理。SpecPilot 是一种自主流程，可针对不同部署环境寻找合适的算法和系统优化方案。它发现了无损 12 位权重格式、树状验证和新的批处理机制等方法。在涵盖 4 个目标模型、3 个草稿模型、2 种 GPU 平台和 5 个基准测试的评估中，无需额外训练且不损失质量，单请求相较自回归解码的加速比从 4.46 倍提升至 10.87 倍；批处理时则从 1.94 倍提升至 3.93 倍。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。