Unsloth Dynamic V3 压缩 Qwen3.8-27B，1-bit 版本仅需 8GB 内存
通义千问团队公开感谢 Unsloth 发布 Qwen3.8-27B 的 GGUF 量化版本，并称其更小、更聪明。Unsloth 表示，在文件大小相同的情况下，Dynamic V3 的准确率比其他量化方案高出超过 10%；不过，这些数据来自该项目自行进行的评测。1-bit 版本据称可保留约 77% 的原始准确率，并在 8GB 内存环境下运行。UD-IQ1_S 等高压缩版本约为 6.2GB，相比全精度版本缩小约 89%。相关文件已上线 Hugging Face，并兼容 llama.cpp 等工具。这项更新降低了在普通消费级设备上本地运行 270 亿参数多模态模型的门槛，但低比特量化仍可能带来质量和性能方面的取舍。
本文来源：AIbase，仅供学习参考，版权归原作者所有。