RecreationWorld:为混合计算机使用代理提供可扩展、可验证的环境
RecreationWorld是一套面向混合计算机使用代理的研究与评测框架,支持代理结合图形界面操作、软件开发和命令行工具。在Ubuntu、macOS、Windows、Android和Web环境中,代理需要研究正在运行的参考应用,并在没有预设流程的情况下构建忠实实现。统一测试系统同时评估程序结果和视觉结果。配套的RecreationBench包含跨领域、跨平台的250项任务。GPT-6 Astra的总体得分为58.1%,但仅有2.8%的任务通过了全部程序测试。结果表明,代理对静态界面结构的复现能力强于对交互行为和计算输出的复现能力。研究团队将发布该基准、运行环境和测试套件。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。