多模态具身智能体：从计算机操作到机器人操作的统一能力视角
这项研究将多模态具身智能体定义为以目标为导向的系统：它们结合多模态推理与物理行动，并根据反馈调整决策。研究提出统一框架 PAPAV，涵盖五项能力：感知当前状态、预测行动效果、规划、执行行动和验证结果。与计算机操作智能体及机器人系统对比后，作者指出，物理约束减少了可预先固定的选择，也让错误更难撤销。在64项基准测试中，只有5项明确评估预测能力，仅3项评估验证能力。研究认为，评估进展应覆盖全部五项能力，而不能只看任务是否成功。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。