AgentSWE：编程智能体能构建出你真正需要的智能体吗？
AgentSWE 是一项面向智能体软件工程的基准测试，涵盖三类任务：根据自然语言需求创建智能体、修改现有智能体代码库，以及针对可衡量目标进行优化。25 项任务均通过未公开的测试用例评估。研究使用不同模型和运行框架测试多种编程智能体，结果没有任何一种能可靠满足要求。常见问题包括对已展示案例过拟合、代码看似完整但运行环境无法工作，以及在缺乏依据时声称任务已完成。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。