ProgramDistill：从交互式 Web 应用到可验证的参考导向软件工程任务
研究人员推出了 ProgramDistill，这是一个全新的基准测试，旨在通过让编码智能体从功能齐全的参考网页应用中推断行为，来评估软件工程编码智能体的能力。利用名为 mine-craft-patch 的自动化流水线，该基准测试在无人工干预的情况下，从 26 个应用中构建了 4,063 个任务。对 GPT-6 Astra 和 Claude Opus 5 等前沿模型的评估显示，随着任务深度和复杂度的增加，成功率显著下降，揭示了当前在完整应用重建方面的局限性。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。