DICS探索用于视觉指令选择的数据内在一致性
该研究提出数据内在一致性（DIC）指标，用于衡量视觉语言模型训练数据中图像、指令与回答之间的一致性。在此基础上，数据内在一致性选择方法（DICS）根据不同的数据预算，在样本级一致性与整体数据分布多样性之间进行平衡。根据作者的实验结果，DICS优于现有数据选择方法，仅使用LLaVA-1.5-665K数据集25%的样本，性能便超过使用完整数据集进行微调。此外，研究团队发布了包含600万条样本的多模态指令语料库DICS-6M。在InternVL3-8B-Instruct上，DICS使用不到其报告训练数据的25%，达到官方性能的94.52%。代码已在GitHub上公开。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。