CoPE让语言智能体的行动与预测共同演进
CoPE是一种训练方法，通过将成功轨迹中的多步行动序列作为额外监督信号，提升语言智能体强化学习的效率。传统智能体强化学习通常只依赖轨迹结束时的单一标量奖励，因此没有充分利用中间步骤的信息。CoPE训练同一个策略骨干根据此前的历史记录预测未来行动，但在推理时仍然一次执行一个步骤。在ALFWorld、ScienceWorld、WebShop、τ²-bench和AppWorld五个基准测试中，研究团队报告称，CoPE的综合表现优于GRPO及其他强化学习基线。在ScienceWorld上，其样本效率最高分别达到ECHO的1.9倍和GRPO的2.0倍。该方法无需额外模型、独立预训练或推理开销，代码已在GitHub上公开。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。