ALPS：面向世界模型的视觉状态编码器
世界模型利用视觉表征进行预测并指导行动。研究团队推出预训练视觉状态编码器 ALPS，将物理状态信息、语言对齐和像素重建整合到同一表征中。团队仅使用静态图像和文本，从头训练 ViT-B/16，再通过跨视角自蒸馏进行优化。在对 15 种公开编码器的评估中，ALPS 在 ViT-B 模型中取得了最低的 LIBERO 状态探测综合误差。搭配原生文本塔时，冻结的 ALPS tokens 在 LIBERO 上实现了 85.5% 的策略平均成功率。它在世界模型规划任务中也表现良好，并可将预测的未来 tokens 解码为像素图像以供检查。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。