通过跨层潜在向量量化实现逐层嵌入的极限压缩
这项研究提出了 OPTIC，用于极限压缩语言模型中的逐层嵌入（PLE）。OPTIC 不再为每个词元与层的组合单独存储代码，而是为每个词元存储一组共享代码，并使用针对 PLE 输出路径拟合的逐层解码器进行解码。相较 BF16 压缩约 100 倍时，Gemma 4 E4B 在七项基准测试中的综合性能保留率为 97.8%。压缩 594 倍和 1,002 倍时，性能保留率分别为 90.5% 和 84.1%。在官方 E4B 版本采用 4 位权重和 16 位激活值时，约 100 倍压缩仍保留 96.9% 的性能。推理过程中，在 KV 缓存大小相同的条件下，GPU 内存用量减少 29.7%，速度最多下降 0.40%。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。