SpecMRL：在参数谱空间中重新设计 Matryoshka 表征学习
Matryoshka 表征学习（MRL）通过联合优化嵌套前缀来支持灵活的表征尺寸，但没有明确约束前段必须提供合适的紧凑编码。SpecMRL采用按特征重要性排序、由参数推导出的谱基，对特征空间重新组织。在MTEB评测中，SpecMRL在所有测试的缩减维度下均优于MRL，且压缩越激进，提升越明显。仅使用一半的嵌入维度时，其表现也超过了全维度MRL。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。