360CityArena:面向具身智能体的逼真城市导航基准
360CityArena是一项用于评估具身智能体城市探索能力的基准,测试环境由360度视频构建而成,具有较高的真实感。该项目以日本东京秋叶原为对象,利用覆盖85条街道的602段视频进行重建,并设置了175项人工设计任务,涵盖环境理解、路径推理和空间推理。评估结果显示,即使是当前先进的基于大语言模型和视觉语言模型的智能体,表现仍远低于人类:Gemini 2.5 Flash得分为17.1%,人类为77.3%。结果表明,城市规模导航、定位、路径规划和空间推理仍面临重大挑战。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。