从像素到行动：迈向原生视觉-语言-行动策略
这项研究提出 NEO-VLA，一种不使用独立视觉编码器的视觉-语言-行动框架。模型不再先将图像压缩为固定的视觉表示，而是在多个层级共同处理图像和语言信息，使行动模块能够利用不同深度的视觉特征。在受控比较中，原生架构优于基于编码器的方案，单纯扩大模型规模也无法弥补差距。分析还表明，对控制至关重要的视觉信号往往在最后一层之前达到峰值。研究作者称，NEO-VLA 在多种物体操作任务及数据分布变化下，实现了更强且更稳健的控制。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。