每个权重都是由共享离散决策构成的路径
研究人员提出 TWIG（Tree-structured Weights with Inherited Gates），将神经网络中的每个权重表示为一系列小型离散决策，例如符号、按 2 的幂次进行移位，或将数值置零的门控。多个权重可以共享部分路径，因此每项决策只需存储和应用一次。这种方法有望统一不同的压缩技术，并帮助将固定权重的网络实现为硬件。在一个大型语言模型的五个权重矩阵测试中，层误差相近时，扁平 TWIG 树比 GPTQ 少用 9% 至 15% 的加法；对于离群值显著的矩阵，减少幅度为 20% 至 55%。目前结果仅限于报告中的测试。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。