Generalized CycleGRPO 提升细粒度多模态理解与定位能力
Generalized CycleGRPO 是一个统一的强化学习框架，将多模态理解与图像、视频中的区域定位结合起来。模型先为指定区域生成描述，再根据每条描述重新定位原始区域，并将重建区域的重叠程度作为可验证奖励。该区域空间表示法可统一处理图像掩码和边界框、视频片段以及带时间戳的空间证据；训练过程中无需参考描述或外部语言模型裁判。研究团队还推出了经人工验证的对比基准 DOVE，用于评估模型能否将目标事件与视频中相似的重复事件区分开来。CycleGRPO 将 SAMTok 在 GroundingSuite 上的总体 gIoU 从 57.5% 提升至 68.2%，并将其在 GRES 上的平均 gIoU 从 71.2% 提升至 78.7%。模型、代码和 DOVE 均已公开。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。