SWE-Duel：迈向面向编程智能体的自扩展竞技场
静态编程基准可能因任务泄漏到训练数据中，或被更强的智能体逐渐攻克而失去效用。SWE-Duel提出一种在评测时生成任务和测试的竞技场，难度由参赛智能体的能力决定。智能体轮流扮演不同角色：一方实现新功能，并植入由封存测试触发的细微错误；另一方则在不知道存在错误的情况下修复它。在涵盖11组模型与harness、15个代码库、五种语言和1,500回合的比赛中，GPT-5.5搭配Codex CLI的修复率最高，达到98.3%；Claude Opus 4.8搭配mini-swe-agent是最强的任务编写者，Red方胜率为27.3%。同一模型系列的结果初步表明，任务难度可能随出题能力提升。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。