ReactVAU：用于流式视频异常理解的慢快解耦框架
论文提出了ReactVAU，一个用于实时检测和理解流式视频异常的框架。现有方法通常依赖离线推理和全局时间采样，难以满足因果处理要求，也不适合部署在实时监控系统中。ReactVAU由三个部分组成：基于Spatial Grid Folding的轻量级快速检测模块、用于保护关键信息免受时间衰减影响的异常感知持久记忆，以及仅在出现可疑事件时启动的高成本慢速推理模块。慢速模块在正常视频片段中保持休眠，仅对可疑事件进行语义验证和因果描述。多项基准测试表明，ReactVAU在异常检测和因果推理方面具有有竞争力的性能，并通过减少大型多模态语言模型的调用提高了计算效率。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。