Doc2Harness：评测长时任务中编程智能体的 Harness 工程能力
Doc2Harness 是一项分为两阶段的基准测试，用于衡量语言模型为执行长时任务的编程智能体构建 harness 的能力。第一阶段，模型根据接口契约和开发文档构建完整的 harness；第二阶段则在隔离容器中通过 328 个测试用例进行评估。研究比较了 19 个模型，每个模型独立构建三次。GPT-6 Astra 的通过率最高，为 53.05%；表现最弱的模型为 27.44%。即使是最佳模型，也有近一半测试未能通过；失败主要集中在如何将跨模块功能拆分到不同模块。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。