YANAMI：面向多轮状态交互的大规模多模态数据集与基准测试
YANAMI旨在弥补现有多模态数据集和基准测试的不足：许多任务并不要求模型跨对话轮次追踪信息。YANAMI-400K包含40万条多模态对话、超过200万张图像和260万个对话轮次，涵盖多图融合、图像编辑、世界建模和视觉推理。YANAMI-Bench使用400条对话，评估模型理解不断变化的对话状态并将其忠实呈现在视觉输出中的能力。实验显示，使用YANAMI-400K微调BAGEL后，图像编辑能力提升10.3%，图像生成提升2.0%，状态式多模态交互提升13.23%。评估还表明，现有统一多模态模型在维持和更新对话状态、并将其准确呈现在图像中方面仍存在困难。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。