Vision-Language-Delta-Action:以紧凑状态变化作为机器人操作接口
Vision-Language-Delta-Action(VLDA)不直接预测动作或完整的未来状态,而是对与任务相关的世界状态变化进行紧凑建模。其 Delta 表征旨在连接视觉语言理解与动作生成。VLDA 将捕捉操作相关变化的局部滤波器,与保留状态变化总体方向的全局锚点结合起来。另一组件则将 Delta 作为结构化起点,用于细化动作。该方法已在开源训练框架 LoongForge 中实现。实验报告称,VLDA 在长时程一致性、鲁棒性和泛化能力方面有所提升。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。