编程代理基准测试应匹配用户的任务流程
一项对 JetBrains IDE 中软件工程师 4,782 次代理会话的研究表明，真实的编程代理交互比许多由问题单衍生的基准任务更加多样。用户会在同一会话中切换于代码问答、规划、审查、重构和执行之间。研究提出的 SWE-TaskFlow 在保留已验证任务和测试的同时，使现有基准适配特定的交互流程。在 700 个 SWE-Bench Pro 任务的试验中，分多个步骤依次解决任务使代理成本大约翻倍，但解决率并未稳定提升。因此，交互协议本身也是评估代理的重要维度。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。