DreamX：利用视频扩散模型学习通用潜在动作
DreamX利用预训练视频扩散模型从视频中学习紧凑的潜在动作表示。该方法将每个潜在视频帧压缩300倍，从1,200个词元降至4个，并试图将动作动态与外观、环境等无关视觉因素分离。由此形成的共享动作接口可适用于人类和机器人、不同环境及动作参数化方式。在LARY-Bench上，DreamX报告称其表现优于其他潜在动作模型。研究团队还报告了不同场景间的视频迁移、零样本动作迁移，以及在紧凑潜在动作空间中学习策略时降低计算成本。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。