面向统一多模态模型的连续空间潜在推理
研究团队推出 LARC,使统一多模态模型在生成图像时能够基于连续隐状态而非离散 token 进行推理。其两阶段训练结合了课程式监督微调和基于信息增益的强化学习。在多项文生图基准测试中,LARC 提升了生成质量、提示词遵循能力和组合忠实度。研究团队称,LARC 在 GenEval 上取得新的最佳成绩,比 BAGEL 高出 7 个百分点,并展示了增加推理时计算量能够带来性能提升。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。