CaPtain：面向“代码即策略”机器人智能体的后训练流程
CaPtain 是一套开放的后训练流程，可将小型视觉语言模型（VLM）训练为通过编写代码来控制机器人操作的智能体。与以往方法不同，该智能体在推理时无需前沿模型、视觉语言动作模型或特权状态信息。流程先用合成轨迹进行监督微调，再进行多轮强化学习。物理评估器利用策略无法访问的模拟器特权状态，评估每次智能体请求对成功概率的影响。CaPtain-4B 在 LIBERO 上经监督微调后的成功率为 55.4%，经强化学习后达到 73.8%；在 LIBERO-PRO 上达到 78.5%。研究还报告了其在 SimplerEnv WidowX 和 CaP-Bench 上的表现，以及仅在模拟环境中完成适应后在真实机器人上的运行结果。作者将公开代码、数据和模型权重。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。