Echo:面向视觉-语言-动作模型的动作与任务状态信号耦合去噪
Echo是一种面向视觉-语言-动作模型的框架,帮助机器人识别任务是否完成或失败。它使用停止信号和失败信号表示任务状态,将二者作为每个动作片段的两个维度,并与机器人动作共同进行去噪。这样,系统就能区分任务执行中、成功完成和失败三种状态。Echo无需逐帧进度标注,而是利用成功、失败和恢复轨迹构建具有互补监督特性的训练数据。状态信号的去噪速度快于动作,使后续动作生成步骤能够依据更清晰的状态估计。真实世界的机器人操作实验表明,Echo能够准确预测任务状态,并持续提升策略性能。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。