通过衔接 VLA 的表征空间与动作空间，实现从人类到机器人的迁移
预训练的视觉-语言-动作（VLA）策略为机器人部署提供了良好起点，但要使其适应特定机器人和环境，通常仍需成本高昂的机器人专属演示数据。H2RB 是一种协同训练框架，利用未配对的人类和机器人演示来调整预训练 VLA 策略。该方法通过几何对齐来协调两个领域的观测，并使用解耦解码器的 tokenizer 共享动作潜在表示，同时不强迫两个领域采用相同的动作映射。在真实任务中，物体迁移性能从 8.0 提升至 51.8，技能迁移得分达到 62.7。即使物体位置发生变化，分布外迁移表现也从 6.0 提升至 45.3。研究结果表明，人类演示可用于调整机器人策略，并减少对昂贵的目标机器人数据采集的依赖。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。