UrbanGround：从局部感知到真实规模城市中的空间行动能力
该研究提出 UrbanGround，这是一个用于评估多模态大语言模型代理在复杂城市环境中表现的测试平台。研究团队利用覆盖香港全域的三维地理空间数据，构建了一个具有物理约束的香港城市复制环境，使代理能够以第一人称视角探索城市，并通过交互式地图进行导航。研究考察局部视觉感知能否支持空间问题回答、远距离导航，以及对路线和行人运动变化的适应。当前的多模态大语言模型代理在视觉识别和短距离空间推理方面表现出一定能力，但方向判断和考虑行人的移动仍不可靠。在长时间探索中，这些局部能力无法组合成持续的目标导向行为，错误也会不断累积。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。