Ternary Bonsai 2 系列模型发布:iPhone 18 Pro Max 本地运行最高每秒 120 个词元
AI 公司 PrismML 发布 Ternary Bonsai 2 系列模型,包含 2B、4B 和 9B 版本。模型基于阿里巴巴 Qwen 3.5,采用 −1、0、+1 三值权重,面向手机、PC 和可穿戴设备本地运行。PrismML 称,各版本占用空间约为 0.43GB、0.95GB 和 2GB。在 iPhone 18 Pro Max 上,2B 模型最高每秒处理 120 个词元,9B 模型最高每秒处理 34 个。模型以 Apache 2.0 许可证开放,可通过 llama.cpp 和 MLX 等工具部署。相关性能数据由公司提供。
本文来源:IT之家,仅供学习参考,版权归原作者所有。