FreeFlow:用于光流估计的无偏层次化Transformer
FreeFlow是一种用于光流估计的层次化Transformer,不依赖相关体、特征扭曲和迭代细化等传统任务专用组件。该模型采用单一前馈式编码器—解码器,并结合用于局部处理的窗口注意力、用于窗口间信息交换的移位窗口注意力,以及在低分辨率下运行的全局注意力。该架构可随模型容量自然扩展,并在多项主要基准测试中取得领先结果,包括Sintel Clean/Final上的0.68/1.48 EPE、KITTI-2015上的3.23 Fl-all,以及Spring上1像素指标的3.192。研究人员还表示,该模型在1080p推理时具有较高的内存效率。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。