VideoJev:用于视频理解与交互的 System 1 模型
VideoJev 是一系列将视频理解与交互建模为结构化决策任务的模型。它不再以自回归方式生成答案,而是通过共享输出头,依据视频证据为时间区间和文本选项打分,将时间定位与选择题式视频问答统一起来。对于重复或多个查询,系统可以复用视觉计算。在三个时间定位基准测试中,VideoJev-4B 和 VideoJev-35B-A3B 的平均 mIoU 分别比各自的基础模型高 6.7 和 10.8 个百分点,推理速度提升 2.8 至 3.1 倍。在四个视频问答基准测试中,两者在 Thinking 模式下的表现与基础模型相当,测得的推理速度提升超过 100 倍。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。