RobotWorld:评测多模态智能体在多种机器人任务与形态中的表现
RobotWorld是一个仿真测试环境,用于评估多模态智能体能否通过机器人接口,将指令和观测转化为实际动作。其84项任务涵盖物体操作、移动操作、运动、驾驶和空中控制,并设有交互次数限制和可执行的成功判定。分析发现,智能体能够构建复杂的感知与控制流程,但未必能可靠地将这些能力结合起来完成任务。它们可能忽略关键物体状态、无法修正无效动作、补救过迟,或误将未完成的任务判定为完成。不同模型在不同任务上的表现也各有差异。RobotWorld将任务结果与执行轨迹相联系,指出了训练和设计更可靠的物理世界智能体时需要解决的具体能力差距。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。