从VLM规划器到机器人智能体:面向历史依赖操作的自进化框架
视觉—语言—动作模型融合了视觉理解、语言条件控制和动作生成,但在长期操作任务中,成功往往依赖此前的任务进展和交互结果,因此仍面临挑战。SERA(Self-Evolving Robotic Agent)将高层视觉语言模型组织为可编辑的规划框架,并使用固定的VLA模型执行底层控制。该框架根据观测和执行反馈更新任务上下文,再通过环境运行提出并评估框架修改方案。 在RoboMME基准测试中,SERA的整体成功率达到51.38%,高于未采用自进化机制时的44.38%。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。