EgoXperience：从人类经验中学习世界对齐的第一视角表征
EgoXperience是一套从第一视角视频中联合重建相机、环境、手部和物体的完整方法。其自动标注引擎EgoX-Engine将经过几何验证的物体跟踪与基于SLAM的世界对齐结合起来，构建了EgoX-Data-6M数据集。该数据集包含50小时在室内外环境中进行的任务驱动型操作与移动活动，并配套用于评估联合重建的EgoX-Bench。EgoX模型利用这些数据及其他公开数据集的补充标注进行训练，能够根据单目第一视角视频和首帧物体掩码，在一次前向推理中重建处于同一世界坐标系的相机、场景、手部和物体。实验表明，该模型在场景估计以及世界坐标系中的手物姿态恢复方面达到领先水平。与评测中最强的基线方法相比，EgoX将相机、手部和深度误差分别降低68.9%、65.6%和42.9%，并将物体姿态得分提高28.0%。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。