跨模态引导向量可作用于图像和文本生成
一项针对统一多模态模型的研究发现，引导向量可以在文本生成与图像生成之间迁移。研究人员将能在一种模态中改变特定概念的向量，无需额外训练便应用于另一种模态，并观察到双向效果。情绪和物体大小等概念均出现迁移；甚至“正式或口语化”等语言特有概念，有时也会引发正式服装或设计等可解释的图像变化。研究结果为理解这些模型中视觉与语言如何相互作用提供了线索。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。