视觉生成能否扩展统一多模态模型的知识？
一项研究探讨图像生成训练能否提供文本中未被完整记录的视觉知识。研究人员提出“知识迁移探测”协议，在三个统一多模态模型上测试：通过图像生成训练获得的知识，能否通过纯文本问答被调用。在七类知识中，视觉监督向语言的迁移是直接的，但效果并不均衡。文本对齐以及交错图像—文本对齐方法进一步提升了知识获取能力。模型能够在图像中正确复现的知识，通常也更容易通过文本获取，但两种获取方式之间仍存在明显差距。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。