Gated DeltaNet 为何能承受 4 位量化：NVFP4 W4A4 应用于混合式 27B 大语言模型的循环部分
一项研究表明，混合式 Qwen3.8-27B 模型的全部 496 个线性层，包括 Gated DeltaNet 循环层，都可以采用 NVFP4 W4A4 量化，而不会造成明显的质量损失。在困惑度测试，以及 MMLU-Pro、GSM8K、AIME'25、GPQA-Diamond、LiveCodeBench 和最长 64K 上下文的 RULER 检索测试中，Minima 版本与 BF16 的差异处于随机种子噪声范围内。该方案仅需 17.5 GiB 内存，预填充速度比比较方案快 14% 至 19%。研究人员认为，NVFP4 的分块缩放、门控函数的非线性，以及 delta rule 更新机制，共同限制了循环状态中的量化噪声累积。研究还修复了融合 GEMM 内核引发的全局缩放不匹配问题，并显示经过校准的 FP8 KV 缓存缩放不会带来可测量的性能开销。模型检查点已在 Hugging Face 上提供。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。