WOVEN：将视觉世界建模融入多模态大语言模型
该研究推出 WOVEN，这是用于视觉转变推理的训练资源与基准测试，旨在追踪不同视觉状态之间的变化。数据集包含 36,076 个样例，涵盖 20 种场景、5 种动作和 8 种推理类型。对 38 个前沿多模态大语言模型的评测显示，它们在空间、物理、具身和时间推理方面存在系统性不足；即使表现最强的模型也远逊于人类。使用 WOVEN 训练后，26 项外部基准测试中有 22 项提升，最高达 27.3 个百分点。此外，在准确率相当的情况下，WOVEN 数据可替代特定任务原有训练数据的 30% 至 50%。研究建议依据数据所教授的推理操作来选择监督信号，并优先采用视觉状态变化较大的样例。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。