Reflex:基于视觉的类人机器人反应式控制
Reflex是一种三阶段框架,旨在让类人机器人用全身对运动物体做出反应。研究以接住被扔来的箱子为代表任务:系统首先通过强化学习训练全身接取策略,随后从延迟且不完整的观测中推断物体动力学,最后从第一视角RGB-D视觉输入中直接恢复这种动力学表示,同时保持全身控制器不变。在仿真中,仅使用视觉输入时,Reflex的接取成功率达到85.7%;使用物体特权信息时为87.9%。连续视觉历史对性能至关重要。在Unitree G1实机上,系统接住人类抛掷箱子的成功率在2.5米和5米距离分别达到65%和40%。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。