VibeVideoBench：评估多模态智能体的代码驱动视频生成能力
视频扩散模型能够生成令人印象深刻的片段，但难以可靠呈现精确公式、正确图表、遵循规则的游戏，或与屏幕事件同步的旁白。VibeVideoBench 是一套用于评估多模态智能体的基准测试，这些智能体通过编写代码来渲染每一帧并合成所有声音。基准包含 239 项英语和中文的独立任务，覆盖 12 个类别。在不提供图像或视频生成模型的沙盒环境中，智能体须在一小时内交付带声音的完整 MP4。评估结合交付规格检查、约 1.3 万项任务专属评分标准，以及由三个视觉语言模型评审组打分的五个质量维度。九种领先智能体系统共完成 2,151 次测试，GPT-6 Astra 和 Claude Opus 5.5 分列第一和第二；表现最强的系统在 76.3% 的任务中满足了所有核心要求。若将未交付视频计为零分，排名会发生变化。四分之三的视频缺失，是因为最终渲染启动太晚、运行太慢或根本没有启动。模型评审给出的系统排名与盲测人类评审的偏好高度吻合。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。