GeoPair：保留几何结构的跨层分解，实现免训练 Transformer 压缩
GeoPair 是一种利用层间冗余的免训练 Transformer 压缩方法。它在考虑各层不同激活几何结构的同时，优化跨层权重配对和共享字典分解。结合结构化稀疏性后，该方法旨在高效分解权重并保持模型功能。作者称，在多种架构、规模和模态上，该方法优于独立分解以及其他成对权重分解方法。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。