多轮强化学习究竟改善了 LLM 智能体的哪些能力？
面向智能体的多轮强化学习有助于处理长程任务，但性能提升高度依赖可用的交互预算。研究通过采样广度 K 和交互深度 T 进行评估，发现预算收紧时，轨迹层面的优势会显著减弱。此外，智能体强化学习并不会普遍提升单步决策质量，其优势主要体现在错误恢复和长程任务的韧性上。研究团队提出 BudgetMix RL，在训练过程中改变交互预算。实验表明，该方法在多种执行设置下表现更稳健。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。