EyeRobot 2.0通过主动视觉实现精准操作,无需腕部摄像头
EyeRobot 2.0是一套机器人框架,仅使用一台双目摄像头和可转动的视角来完成精细的双手操作。系统会主动将视线对准场景中的相关三维注视点,并为图像中心分配更多视觉处理资源,同时以注视点为参照表示夹爪信息。视线控制和目标选择器均利用真实世界数据,通过强化学习进行训练。在7项真实任务和6项模拟任务中,EyeRobot 2.0相比被动双目视觉,在真实测试中的成功率提高40%,在模拟中提高20%。当被抓取物体遮挡腕部摄像头时,其成功率达到48%,而对照策略为22%。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。