面向长时程 LLM 智能体的多尺度策略优化
LLM 智能体通过完整的助手回合与环境交互，同时逐个 token 生成动作。研究人员发现，评论器的取值主要在不同回合之间变化。提出的多尺度策略优化（MPO）以回合为优化基准，同时在 token 层面更精细地分配贡献。该方法结合了多尺度优势估计和回合级重要性采样。使用 4B 和 30B-A3B 模型开展的搜索、工具使用及自动化任务实验显示，相较于强劲的强化学习基线，MPO consistently 带来性能提升。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。