对抗式推测推理提升长程任务智能体的表现
一项研究发现，推测解码在长程智能体任务中影响的不只是速度，也可能影响准确率。数值噪声和草稿 token 的接受情况可能在多个步骤后改变输出分布。该方法训练草稿模型在推理关键节点有意提出不同的候选，使目标模型能在噪声较低的条件下生成这些 token。在复杂的智能体编程基准测试中，该方法提高了端到端成功率，且未改变目标模型或其输出分布。训练使用的参数占托管参数的 0.06% 至 0.28%。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。