PACE：四位元循环状态的周期性与通道对齐编码
线性注意力语言模型将上下文保存在固定大小的循环状态中，每个同时解码的序列都需要一份状态副本。以较低精度存储状态，可以让加速器处理更多序列。现有量化器会在每个生成 token 后对状态进行舍入，四位元精度可能因此损失准确率。PACE 是一种训练后四位元状态量化方法，每隔几个 token 才舍入一次，并用小型缓冲区保存期间生成的 token，以减少误差累积。由于 gated-delta 状态中的大数值集中在特定列，PACE 按列共享量化尺度；舍入误差保留时间较长的注意力头则使用八位元。在参数规模为 4B 至 35B 的四种混合模型上，四位元与八位元注意力头混合的方案，在三个较大模型上的表现可与八位元 DAMP 相当，内存用量约为其三分之二。全部使用四位元注意力头时，在相同内存用量下得分高于 Q-Mamba；降低舍入频率也保留了缓冲区带来的解码加速效果。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。