ThinkBit：搜索码字、重新校准尺度，并依据推理能力进行选择
ThinkBit是一种面向语言模型的2比特量化方法，旨在压缩模型的同时保留多步推理能力。该方法为不同模型层分配不同位宽，搜索合适的整数码字，再通过知识蒸馏重新校准尺度。随后，研究者进行短期量化感知训练，并通过推理测试选出最终检查点。在Qwen3-1.7B上，重新校准后的模型在MATH-500上获得46.7分，高于使用相同数据训练的EfficientQAT的30.0分；经过QAT后得分为73.0。作者称，0.52 GB的模型准确率优于已发布的同模型2比特GGUF版本。在14B规模下，3.74 GB模型得分为94.8，29.5 GB的bfloat16模型则为97.5。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。