LoopArena：评估模型作为循环工程运行时控制器的基准测试
LoopArena是一项用于评估模型的基准测试，研究模型如何在长期软件工程任务中指导独立的编码代理。每轮编码结束后，控制器会收到运行过程的结构化摘要，并决定工作代理下一步应执行或验证的内容，或者是否应该停止。该基准测试涵盖三种执行范围和成本设置。在完整任务中，观测到的最高严格成功率为24.69%，表明长期循环控制仍有较大改进空间。同时，受评估的控制器平均将估计推理成本降低了64.4%。研究人员已公开基准数据和评估代码。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。