游戏中的规模化：在多样化虚拟世界中持续预训练具身智能体
一项受控研究考察了数据量、数据多样性和模型规模对具身智能体持续预训练的影响。研究评估了120种配置，模型规模为8亿至270亿参数，训练数据为50至1,600小时。更多数据能提升模型在熟悉世界中的表现；提高数据多样性有助于迁移到相关世界，但对差异很大的环境帮助有限。大模型的数据利用效率更高，但仅在单一世界训练的模型对陌生环境的泛化能力较弱。研究还发现，学习操作界面的早期阶段带来广泛收益，之后的提升则集中在熟悉或相近的世界。模型在3D游戏中表现具有竞争力，但模仿学习仍存在局限。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。