通过因素感知预测学习，让 MLLM 潜在表征服务于电影级视频生成
论文提出 Factor-Aware Predictive Learning（FAPL），一种利用多模态大语言模型（MLLM）进行电影级视频生成的训练方法。该方法旨在让视频生成器有效利用 MLLM 的潜在表征，并提升从有限输入进行时间推理，以及对人物、场景、动作和镜头的控制能力。FAPL结合了基于 MLLM 潜在表征的生成器训练、利用成对视频进行因素感知编辑，以及使用部分或完整视频观测进行训练。作者报告称，该方法在稀疏提示视频生成、因素感知编辑和多镜头生成三项任务中优于基线方法。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。