LaLa-World：通过自然语言动作扩展潜在世界模型
论文介绍了 LaLa-World，这是一种语言条件式潜在世界模型，使用仿真和机器人轨迹，以及更广泛的图像与视频数据进行训练。它用自然语言描述动作和视觉变化，使单一预测器能够在异构数据集上共同训练。测试显示，LaLa-World 的模型预测控制平均规划性能优于按领域或任务分别训练的现有模型。加入图像和视频数据进一步提升了规划性能与鲁棒性。在与视频生成模型的匹配对比中，LaLa-World 以六分之一的训练成本达到相近的规划性能，规划速度快 13.9 倍。其预训练模型还可用于初始化 LaLa-Policy；该模型在 LIBERO 和 RoboCasa 上的表现具有竞争力，推理速度最高快 5.5 倍。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。