GlobeBench：评估可扩展环境模拟中的文本世界模型
论文推出 GlobeBench，这是一个包含 1,632 项任务、覆盖五个领域和 19 种模拟技能的基准，用于比较文本世界模型。测试根据智能体的完整行动轨迹，评估模型预测行动如何改变环境状态的能力。在 20 个通用大语言模型和专用世界模型中，GPT-6 Astra 的成功率最高，为 49.57%。当影响需要传递到相关依赖对象时，平均成功率降至 5.1%。共有 631 项任务未能被任何受测模型解决。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。