DeltaTTG：利用 Token-to-Go 进度指标训练多轮智能体
DeltaTTG提出一种可复用的进度指标，用于通过可验证奖励的强化学习训练多轮智能体。该指标利用多种策略记录的轨迹进行训练，估算任务完成前还需生成的 token 数，并据此将结果导出的优势分配到各个步骤，同时不改变轨迹奖励。在 ALFWorld、PaperSearchQA 和 BFCLv3 测试中，相比 GRPO，DeltaTTG 使用 Qwen3-4B 时平均得分提高 5.7 分，使用 Llama-3.1-8B-Instruct 时提高 7.2 分。Actor 训练所需的 GPU 小时数与 GRPO 接近。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。