普林斯顿 AI Lab 推出 SSoN 基准：人类准确率达 83.3%，最佳大模型仅为 39.7%
普林斯顿大学 AI Lab 推出 SSoN，用于评估模型从静态图像中理解不同视角下空间关系的能力。在四张室内场景图中找出属于不同场景的图片这一任务上，人类准确率为 83.3%；受测视觉语言模型的最高准确率为 39.7%，多数模型甚至低于四选一的随机基线。模型在涉及移动和旋转的空间推理任务上尤其薄弱，部分答对的结果也伴有逻辑错误的解释。提供真实相机参数能显著改善表现；针对任务进行监督微调，则使模型在未见过的房间测试中的准确率近乎翻倍。SSoN旨在衡量模型在三维空间推理和跨视角一致性方面的不足。
本文来源：AIbase，仅供学习参考，版权归原作者所有。