RoboTok:面向人类示范检索与灵巧操作学习的互联网规模数据引擎
RoboTok从网络视频中检索与操作相关的人类示范,用于训练灵巧机器人的操作策略。系统根据以行为主体为中心的三维手部轨迹学习潜在运动空间,使其能够在摄像机视角、场景外观和遮挡情况不同的条件下比较操作行为,同时支持对大规模视频集合进行高效搜索和持续索引。评估显示,RoboTok检索到的示范比现有方法更相关,并提升了机器人在后续操作任务中的成功率。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。