蚂蚁百灵开源 Ling-3.0-tiny，支持 Nvidia DGX Spark 和 Mac mini
蚂蚁百灵在 Hugging Face 上开源轻量级 Ling-3.0-tiny 模型。该模型采用混合专家架构，总参数量为 79 亿，每个 Token 仅激活 13 亿参数，并提供 BF16、FP8 和 INT4 权重。模型交替使用 KDA 与 MLA 注意力机制，搭配包含 128 个路由专家的稀疏前馈网络。它支持快速响应和多步骤推理模式，主要面向本地部署。官方称，在搭载 M4 Pro 的 MacBook 上，推理速度约为每秒 86 至 90 个 Token；在 8K 上下文长度下，峰值内存占用约为 8.34 GiB。该模型还已在 Nvidia DGX Spark、Apple Silicon MacBook 和 Mac mini 上完成验证。
本文来源：IT之家，仅供学习参考，版权归原作者所有。