PrismML推出Bonsai 2 27B：内存占用不到九分之一，保留Qwen3.8 27B 98.2%的性能
人工智能实验室PrismML推出Bonsai 2 27B。这是一款基于Qwen3.8 27B、采用三值量化的开放权重模型。PrismML表示，该模型在综合基准测试中达到基础模型98.2%的得分，同时内存占用不到基础模型的九分之一。模型大小为5.9GB，每个权重的有效比特数为1.76，支持26.2万Token的上下文窗口。官方公布的吞吐量为NVIDIA GeForce RTX 5090上每秒143个Token，以及Apple M5 Max上每秒46.8个Token。模型可通过CUDA在NVIDIA GPU上运行，也可通过MLX在Apple设备上运行，权重以Apache 2.0许可证开放。
本文来源：IT之家，仅供学习参考，版权归原作者所有。