EgoExplorer:面向真实环境人类移动操作的视觉、运动与触觉观测平台
EgoExplorer是一套可穿戴采集系统和包含100小时数据的数据集,用于研究人类在真实任务中如何协同完成移动、姿态调整和物体交互。系统重点记录专业活动,将第一视角视频与重建的全身运动、精细手指关节动作、触觉观测以及分步骤描述进行对齐。Calibrate-Complete-Constrain流程可校准传感器安装偏差,补全未观测到的关节运动,并强化时间和几何一致性。与最强基线方法相比,该方法将身体关键点误差降低了71.9%。初步实验还探索了多模态生成,以及在仿真环境中将人类动作迁移到人形机器人。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。