LoCA:实现地理空间位置编码器的多模态能力
研究表明,Lipschitz 位置编码器在结构上受到限制,因为其输出的内在维度最多为2。LoCA(Location Contrastive Alignment)通过两阶段流程解决这一问题:首先联合训练 Sentinel-1 和 Sentinel-2 图像编码器,生成高秩且跨模态对齐的目标表示;随后使用多视图对比学习训练位置和表格元数据编码器。在土地覆盖、野火预测、生物多样性、气候等17项任务中,LoCA取得了最多的任务胜利,并在68.8%的逐任务比较中胜出。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。