RoTA-Bench通过交互式投影对齐评估3D空间推理
RoTA-Bench用于评估视觉语言模型能否将2D观察转化为精确的3D控制。模型需要逐步旋转物体,使其投影与目标轮廓吻合。该基准包含674项任务,以及一个分层抽样的100项测试集。GPT-5.6-Sol仅完成了17%的任务;20名本科生则共同完成测试集四轮,成功率达到100%。模型也更常出现轮廓重叠度改善、但姿态对齐变差的情况。移除交互历史后,模型几乎只采用较粗的旋转步长,观测到的任务成功率大幅下降。研究结果表明,精确的3D控制不仅仅是识别或匹配单张图像。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。