DLite：面向智能体 AI 的无历史投机解码
投机解码通过小型草稿模型生成候选词元，再由目标模型验证，从而加速大语言模型推理。研究人员发现，在上下文长且持续变化的智能体任务中，现有草稿模型的接受长度最多下降 80%；保留历史 KV 缓存也会带来显著的系统开销。DLite 无需显式维护历史，而是复用目标模型的上下文隐藏状态进行局部预测，并通过轻量级顺序预测头恢复词元块内部的依赖关系。论文称，在通用、长上下文和智能体任务测试中，DLite 的接受长度为 2 至 6，性能较现有方法 DSpark 最高提升 70%。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。