Reviso:视频字幕生成不应对所有视觉证据一视同仁
多模态大语言模型能够生成详细的视频字幕,但有时会过度关注次要细节,忽略重要事件。Reviso先概览视频全局,再规划需要重点观察的内容,并选择性地重新检查相关片段,最后整合收集到的证据生成字幕。在四项基准测试中,Reviso优于受测的开源基线方法;其生成的字幕也更有助于后续的视频问答任务。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。