RoboValue：用于统一评估机器人价值模型的仿真与真实环境细粒度基准
RoboValue 是一套用于评估机器人价值模型的基准。这类模型依据视觉观察和指令判断任务执行情况。基准涵盖四项能力：理解任务状态、跟踪时间进程、推理失败与恢复，以及保持价值判断的一致性。数据集包含 15 项仿真操作任务和 20 项真实环境任务，并提供专家演示和带标注的轨迹。评估发现，即使模型在任务结果和进度方面表现良好，在精确理解指令、结合执行历史追踪进度以及评估恢复情况方面仍会出错。该数据集和公开排行榜可支持持续评估反馈的可靠性。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。