当量化破坏记忆：低精度时序推理中的循环状态回写
一项研究表明，在循环神经网络中，状态被写回和保存的方式可能决定低精度推理的准确率。在用于荧光寿命成像的 GRU 编码器—解码器中，采用确定性的 4 位状态存储后，短寿命成分 τ1 和长寿命成分 τ2 的估计误差分别增加约 70 倍和 300 倍。原因是反复出现的小幅更新低于写入阈值，未能反映到存储状态中。误差反馈、残差记忆和方向记忆能够在无需重新训练的情况下恢复准确率。对独立训练的 LSTM 进行测试也重现了这一失效，并显示细胞状态比隐藏状态更敏感。研究指出，状态存储接口是量化循环推理设计中的关键因素。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。