面向真实世界运动语言模型的即插即用二维运动接口
研究人员提出了一种即插即用接口,使基于三维运动预训练的运动语言模型(MoLM)能够处理二维运动输入,无需修改或微调原始模型。该方法针对从单目视频中获取精确三维运动困难的问题。在公开数据集上的实验表明,该方法在多个MoLM上的表现可与三维输入相当,并优于仅使用二维运动从头训练的模型。研究团队还构建了真实单目视频运动评测数据集和视频适配器,并公开了相关代码。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。