CodeCap-Bench：代码能否成为有效的视频描述方式？
这项研究探索使用可执行代码作为视频内容的补充表示方式。借助图形基元、布局规则和时间函数，代码能够比自然语言更精确地表达细粒度空间结构和时间动态。在问答和视频重建任务中，代码描述的表现优于自然语言描述。研究人员推出 CodeCap-Bench，包含323个结构化二维内容视频、细粒度标注和多层次评估框架，用于系统评估多模态大语言模型生成忠实代码描述的能力。领先的闭源模型展现出一定潜力，但仍难以准确捕捉复杂的时间变化；开源模型的表现则明显落后。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。