面向长时域智能体强化学习的树感知后验蒸馏
该研究提出TreeOPSD，一种无需评论家模型、利用可验证奖励对大型语言模型进行后训练的方法。它将每轮交互视为树节点，从共享前缀分支出不同的后续路径，并递归地将终端奖励回传，以获得轮次级信用分配。该方法还构造了有界的目标教师分布，用于限制连续小批量更新造成的策略漂移。实验显示，TreeOPSD在多个基准和模型规模上提升了智能体能力，尤其适用于长时域任务。在Deep Research设置中，Qwen3-30B-A3B-Thinking-2507的平均准确率比GRPO高出4.97个百分点。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。