ReactVAU:用于流式视频异常理解的慢快解耦框架
论文提出了ReactVAU,一个用于实时检测和理解流式视频异常的框架。现有方法通常依赖离线推理和全局时间采样,难以满足因果处理要求,也不适合部署在实时监控系统中。ReactVAU由三个部分组成:基于Spatial Grid Folding的轻量级快速检测模块、用于保护关键信息免受时间衰减影响的异常感知持久记忆,以及仅在出现可疑事件时启动的高成本慢速推理模块。慢速模块在正常视频片段中保持休眠,仅对可
AI 新闻中心 过去30天分析了 914 篇文章,发现了 0 条重要报道 (分数 ≥ 5.5)
获取从可信来源聚合的最新 AI 新闻。
论文提出了ReactVAU,一个用于实时检测和理解流式视频异常的框架。现有方法通常依赖离线推理和全局时间采样,难以满足因果处理要求,也不适合部署在实时监控系统中。ReactVAU由三个部分组成:基于Spatial Grid Folding的轻量级快速检测模块、用于保护关键信息免受时间衰减影响的异常感知持久记忆,以及仅在出现可疑事件时启动的高成本慢速推理模块。慢速模块在正常视频片段中保持休眠,仅对可
RoboSPA 是一个用于评估机器人操作中视觉-语言-动作(VLA)模型空间推理和程序推理能力的大规模数据集与基准。它涵盖 10 个任务类别、56 个基础任务,以及分布在五个难度等级中的 280 个变体,空间歧义和程序复杂度逐步提升。数据包含来自多种机器人形态和不同场景的 52.7 万条轨迹。除任务成功率外,RoboSPA 还引入了更细致的诊断指标。实验表明,当前 VLA 模型在复杂空间关系、精确
多视图图像让二维视觉语言模型能够利用预训练知识推理三维场景,但也会产生数千个冗余视觉令牌。CoVeR是一种确定性、无需训练的选择方法,仅使用令牌坐标来最大化空间覆盖度。它能够执行精确的令牌预算,并避免选择近乎重复的令牌。在四个视觉语言模型上测试时,CoVeR在三个三维推理基准上均超过此前的最佳方法。仅使用约8%的视觉令牌,它仍保留了完整令牌配置下93.5%的性能,并在各基准上的平均成绩上领先此前最
一份技术报告介绍了 AuK,这是一款通过自然语言指令和音频上下文统一语音生成与音频编辑的开源基础模型。该模型使用约 30.3 亿条指令—音频实例进行训练,相当于 195 万小时的有效监督数据,覆盖语音生成、内容编辑、增强与分离、副语言编辑和声学编辑五类任务。AuK 将多模态大语言模型、在语音、通用音频和音乐上联合训练的 VAE,以及混合式 Rectified Flow Transformer 结合
大型推理模型会生成很长的思维链,导致键值(KV)缓存随序列长度线性增长,并造成严重的 GPU 内存瓶颈。该研究发现,现有压缩方法可能忽略推理后续会重新关注的远距离上下文。BeaconKV 是一种无需训练的方法,通过保留相似查询簇的紧凑代表——信标查询,来预测将被再次访问的 KV 对。在四个开源推理模型和多个基准测试上的评估显示,该方法最多可将内存占用降低 5.8 倍,在基本保持完整缓存准确率的同时
TransNormal-2 是一个基于 FLUX.2 的 Rectified Flow 框架,用于从单张图像估计表面法线。研究指出,VAE 编码器和解码器的八倍空间压缩是造成像素级误差的重要来源,尤其会影响物体边界。该方法结合了几何感知的像素空间损失,包括逆渲染一致性、von Mises–Fisher 角度损失和小波边缘正则化,并加入由 RGB 引导的轻量级几何细化模块。系统支持单步确定性推理。在
该研究提出因果视觉循环推理(CVRR),旨在确保多模态模型生成答案时真正使用潜在视觉计算。CVRR在预训练视觉语言模型处理图像后,从问题表示初始化循环状态,并通过反复读取相同的视觉证据来更新该状态。在解码前,系统会移除视觉状态和原始多模态KV缓存,因此只有最终循环状态能够将图像条件信息传递给答案。在多个基准测试中,CVRR在这一严格接口下仍保持了较强的视觉能力,而兼容的潜在推理方法未能恢复相当的性
TANGO 是一个面向人形机器人的视觉语言导航框架,用于处理障碍物密集的室内环境。不同于将导航简化为二维路径规划,TANGO 会持续调整机器人的全身,包括手臂位置、躯干姿态和步态,以无碰撞方式穿越复杂的三维空间。系统接收自然语言指令和机器人第一视角的 RGB 观测,直接预测包含 29 个自由度的关节空间动作。TANGO 完全在仿真环境中训练,通过全局路径规划、全身运动生成、面向障碍物的动作编辑以及
研究人员提出“程序图”,用于组织大语言模型智能体所需的程序性知识。与仅从不断累积的交互历史中不受约束地生成动作不同,该方法将步骤、关系和条件表示为图结构。在每个决策步骤,指导模型会把相关子图转换为情境化指引,影响智能体的下一步行动,但不会直接规定行动。基于大语言模型的改进循环会比较成功和失败的执行轨迹,并仅采纳能够保持或提升留出验证集性能的图结构修改。研究人员称,在多个数据集、任务类型和语言模型上
该研究提出 Mask Forcing,用于改进面向实时视频生成的自回归视频扩散模型蒸馏。现有的 Distribution Matching Distillation 方法受到反向 KL 目标函数的模式选择倾向影响,可能导致学生模型分布坍缩,并生成过度饱和或过度平滑的视频。Mask Forcing 在自回归自滚动过程中,沿空间和时间维度使用随机掩码,将更干净的信号注入噪声输入。这样可以促使学生模型探
该报告介绍了 Gander,这是一个将视频、语音和文本流式输入统一起来的端到端模型,旨在实现连续的多模态交互。其 Cerebellum-Brain 架构由 Cerebellum 负责实时对话与响应,Brain 负责复杂推理、工具调用和智能体任务。Streaming Thinker-Talker 设计支持低延迟、全双工交互,包括用户随时打断、模型主动提供中间反馈以及提出后续问题。内部人工评估显示,G
Anthropic 对齐科学负责人埃文·休宾格表示,他个人认为未来十年内 AI 可能杀死全人类的概率超过 10%。他还担心 AI 进行递归式自我改进。休宾格称,Anthropic 正在认真应对这一问题,但目前还没有解决超级智能对齐问题的可靠方案,也无法明确证明公司正朝着解决目标稳步前进。
CosmoH2G提出了一个数据集和基线方法,用于将人类手部演示迁移到机器人夹爪。该数据集包含1,254种物体的6,189个操作片段,重点覆盖旋转、翻转和复杂轨迹等高空间复杂度动作。所提出的两阶段框架首先预测夹爪的初始和终止稀疏关键帧,然后以此为条件生成完整的连续动作序列。为减轻误差累积,系统学习夹爪的方向,并依据抓取启发式方法和运动学一致性对平移进行后处理优化。作者报告称,在仿真和真实机器人实验中
研究人员提出了在策略反向蒸馏(OPRD),旨在让更强的学生模型从较弱的教师模型中学习,同时超越教师的性能。OPRD在学生模型生成的轨迹上,评估教师策略相对于参考策略的变化,并仅放大得到验证器支持、且与该变化方向一致的策略梯度更新。这样既能利用教师指导加快训练,又不会将教师的能力上限强加给学生。在连续模型迁移和多教师蒸馏实验中,OPRD以更少的学生更新次数取得了优于现有强化学习和蒸馏方法的性能。研究
GE-Act 2.0是一种用于机器人操作的世界行动模型,通过预测未来状态来指导机器人行动。与许多依赖预训练视频生成模型的系统不同,其生成和行动组件均使用操作数据从零开始初始化和训练。该模型结合了控制导向自动编码器、单步视觉规划器和逆动力学模型。将联合训练数据从300小时扩展到3万小时后,两种机器人平台的成功率分别从17.1%提升至44.1%,以及从13.4%提升至31.1%。性能提升覆盖了大多数技