研究利用 JEPA 证明并改进“柏拉图表征假说”
这项研究将柏拉图表征假说转化为定理：如果正样本训练对是同一场景的不同视角，分别训练的联合嵌入预测架构（JEPA）就能学到跨模态的相同表征，差异仅为旋转变换。研究还解释了为何下一词元预测对齐语言与视觉的效率较低。在使用关联文本覆盖最多 9.4 亿张网络图片的实验中，要达到相近的对齐水平，合适的正视角所需训练样本比下一词元预测少 42 倍。一个拥有 1.09 亿参数的文本 JEPA，与图像编码器的对齐效果优于受测的语言模型，后者参数规模最高达 720 亿。结果支持该理论，但应限于论文报告的实验范围进行解读。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。