HexaShell：探索 VLM 机器人编程代理能力边界的轻量框架
HexaShell 评估基于视觉语言模型（VLM）的代理在控制机器人时能做到什么程度。代理通过命令行操控双臂机器人，分析摄像头图像和失败日志，并编写小型程序来改进能力。研究团队报告称，在 RoboDojo 的全部 42 项任务中，系统成功率为 39.7%，进度得分为 48.0，均刷新该基准的纪录。推推动作任务成功率为 92.5%，记忆任务为 65.0%，但精密插入任务仅为 8.3%。结果表明，主要瓶颈可能在于可靠执行涉及接触的动作，而非分析失败原因。研究团队已将开发的工具开源。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。