用于推测解码的并行草稿上下文校正
推测解码通过轻量级草稿模型提出多个词元，再由目标模型并行验证，从而加速大语言模型推理。基于扩散的草稿模型可以同时预测多个未来位置，但无法利用同一草稿块内词元之间的依赖关系。DCOCO（DFlash Contextual Corrector）通过保留多个候选词元并并行评估其上下文兼容性来解决这一问题。在四种验证模型架构和十项基准测试中，DCOCO在所有评估配置下都取得最高平均吞吐量，相比常规解码最高提速6.6倍。在4至32个并发请求的服务负载下，其表现也比最强竞争方法高出6%至23%。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。