淘宝 MNN 团队开源 0.3B 手机模型，称 iPhone 18 Pro 离线解码达 350 token/s
淘宝 MNN 团队开源了面向手机应用设计的 MNN-Pocket-0.3B。其 INT4 部署文件为 173MB；团队称，该模型在 iPhone 18 Pro 上完全离线运行时，解码速度约为 350 token/s。在另一组测试配置下，模型在 iPad Pro M5 上达到 466 token/s。团队还报告称，该模型内存占用较低，部分评测成绩超过了更大规模的对比模型。实际性能取决于设备和测试配置。
本文来源：IT之家，仅供学习参考，版权归原作者所有。