Switch-SWE:在未完成任务之间切换时,编程智能体能否保持专注?
Switch-SWE 是一项基准测试,用于评估编程智能体在处理同一代码库中的其他未完成任务后,能否继续原有任务。测试包含来自 19 个 Python 代码库的 200 项重点任务,并构建了 400 个可比较的会话,分别设置有无任务切换。对 7 个智能体的测试显示,交错处理任务使重点任务的解决率平均下降 11.5 个百分点。常见问题包括混淆不同任务的要求以及丢失任务状态。一个能够筛选相关历史记录并总结任务状态的上下文管理模块,使 OpenCode 的任务完成率根据模型提升了 5.5 至 15.5 个百分点。代码已在 GitHub 开源。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。