RoboTryOn通过虚拟试穿方式，从人类视频合成灵巧机器人演示
RoboTryOn将人类视频转换为指定机器人的视频，同时保留原有动作、任务、物体和背景。随后，逆动力学模型从合成视频中推断动作标签，用于策略学习。在多种人形机器人上的实验中，使用合成数据训练的策略在新任务上的平均成功率从2%提升至60%，其中包括具有挑战性的双手操作，且无需这些任务的真实机器人演示。其表现与仅用遥操作演示训练的策略相当，而数据采集成本约为三分之一。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。