人类的第六感:评测多模态模型的直觉式视觉推理能力
这项研究提出 Humanity’s Sixth Sense(HSS)基准,用于评估多模态大语言模型能否直觉地推断图像和视频中未明确呈现的时间、空间、社会及抽象关系。人类参与者的准确率为 93.1%;测试中表现最强的 GPT-6-astra 即使采用最高推理强度,也仅达到 53.6%。能够动态操作视觉输入的智能体系统缩小了差距,但未能消除差距。HSS 旨在量化这一以往较少受到评测的能力。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。