超越当前场景:通过主动视角选择实现事件指代抓取
机器人应能执行后续指令,根据物体在过去交互中的作用来识别目标,即使该物体已不在视野内。BeyondSCe 是一种零样本抓取系统,利用事件历史和当前场景识别并定位指定物体或部位。目标被遮挡时,系统会结合历史事件线索与场景几何信息,选择可能显露目标的相机视角。在使用腕部安装的 RGB-D 相机进行的真实机器人实验中,系统对初始可见目标的抓取成功率为 76%,对被遮挡目标为 77%;各条件下表现最好的基线方法分别为 40% 和 55%。在另外四个严重遮挡场景中,成功率从 75% 提升至 95%,平均观察视角数则从 3.35 降至 2.20。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。