太空中的人类:MLLM能否通过主动探索外部视角,构建以人为中心的空间理解?
SATE-Bench是一项交互式基准测试,包含316个真实场景和2,525组多轮问答,用于评估多模态大语言模型(MLLM)的空间能力。模型从严重受遮挡的视角出发,必须探索相邻视角以收集足够的视觉证据。评测发现,当前MLLM常常过早停止探索,却仍表现出很高的信心,并且难以完成细粒度的3D几何任务。奖励视角搜索的微调能增加探索行为,但会降低总体准确率。研究结果表明,仅扩大被动的多视角感知并不能自然带来主动空间推理。代码和数据已公开。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。