探测视觉基础模型中的空间状态表征
本研究考察视觉基础模型能否形成持续的空间表征：在当前视野之外保留信息，随自身移动更新，并用于指导行动。研究人员利用静态室内环境的连续第一人称视角观测，对十种冻结表征的四项空间能力进行测试。结果因任务、网络层和观测历史长度而异。模型能够准确读取可见场景，并不意味着它能持续追踪物体或准确获取未来特征。此外，在真实特征上训练的空间读取器无法原样迁移到预测特征上。研究认为，评估空间表征时，不仅要看能解码出什么信息，还要考察这些信息能否在视野之外持续保留、通过预测进行更新，并用于目标导向的行动。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。