编码代理框架设计的实证研究
该研究分析编码代理框架中的不同组件如何影响自主软件工程代理执行长期任务的表现。在固定执行循环的基础上,研究人员改变规划、动作空间和上下文管理方式,对4个模型的176种配置进行了测试,评测基准为 SWE-Bench Verified 和 Terminal-Bench 2.1。上下文窗口预算越紧张,上下文管理越重要,其主要作用是避免上下文溢出错误。先进行基于规则的内容省略,再由大语言模型进行摘要,是整体效率最高的策略。规划功能主要提升较弱模型的准确率,并降低较强模型的成本。预定义工具有助于 Bash 能力较弱的模型,而擅长 Bash 的模型使用纯 Bash 接口也能有效完成任务,并显著降低成本。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。